[論文レビュー] Neural Photometric Stereo Reconstruction for General Reflectance Surfaces.

Tatsunori Taniai, Takanori Maehara|arXiv (Cornell University)|Feb 28, 2018

Computer Graphics and Visualization Techniques被引用数 2

ひとこと要約

本論文は、地上教師ラベルが不要な再構成ベースの教師なし深層学習フレームワークを提案し、表面法線とBRDFを予測する。観測画像と合成画像の間の再構成誤差を微分可能レンダラを用いて最小化することで、実世界のベンチマークで最先端の性能を達成し、学習データの不足や入力順序の感度という課題を克服する。

ABSTRACT

We present a novel convolutional neural network architecture for photometric stereo (Woodham, 1980), a problem of recovering 3D object surface normals from multiple images observed under varying illuminations. Despite its long history in computer vision, the problem still shows fundamental challenges for surfaces with unknown general reflectance properties (BRDFs). Leveraging deep neural networks to learn complicated reflectance models is promising, but studies in this direction are very limited due to difficulties in acquiring accurate ground truth for training and also in designing networks invariant to permutation of input images. In order to address these challenges, we propose a reconstruction based unsupervised learning framework where surface normals and BRDFs are predicted by the network and fed into the rendering equation to synthesize observed images. The network is trained during testing by minimizing reconstruction loss between observed and synthesized images. Thus, our learning process does not require ground truth normals or even pre-training on external images. Our method is shown to achieve the state-of-the-art performance on a challenging real-world scene benchmark.

研究の動機と目的

• 複数の照明条件下での複数枚の画像から、未知の一般BRDFを有する表面の3次元法線回復の課題に対処すること。
• フォトメトリックステレオにおける深層ネットワークの学習に必要な正確な地上教師データの不足を克服すること。
• 入力画像の順序に依存しないニューラルネットワークアーキテクチャを設計すること。
• 実世界の観測画像を用いて、事前学習や教師付き学習なしにエンドツーエンドの学習を可能にすること。
• 教師なし再構成損失を用いて、実世界のフォトメトリックステレオベンチマークで最先端の性能を達成すること。

提案手法

• 本手法は、変化する照明条件下での複数枚の入力画像から、同時に表面法線とBRDFパラメータを予測する畳み込みニューラルネットワークを採用する。
• 予測された法線とBRDFは、微分可能レンダリング式に供給され、入力の照明条件に対応する合成画像が生成される。
• ネットワークは、推論時における合成画像と実際の観測画像の間の再構成誤差を最小化することで学習される。
• 学習プロセスは教師なしであり、地上教師法線やBRDFを必要とせず、観測された入力画像にのみ依存する。
• アーキテクチャは順序に不変（permutation-equivariant）に設計されており、入力画像の順序に関係なく一貫した予測を保証する。
• フレームワークにより、外部の事前学習なしにテストデータ上で直接エンドツーエンド最適化が可能となり、実世界のシーンにネットワークを適応可能にする。

実験結果

リサーチクエスチョン

• RQ1 教師なしで、複数枚の異なる照明条件下の画像から正確な表面法線を回復できるか？
• RQ2 ラベルなしで、未知の一般BRDFに対して頑健なフォトメトリックステレオ手法をどのように実現できるか？
• RQ3 微分可能レンダリングに基づく教師なし再構成損失は、実世界のシーンにおいて、教師ありまたは弱教師ありのベースラインを上回れるか？
• RQ4 事前学習や合成データ・ラベル付きデータを一切用いずに、再構成損失のみで学習したネットワークが、実世界データにどの程度一般化できるか？
• RQ5 フォトメトリックステレオネットワークにおいて、入力画像の順序に依存しない性能を確保するには、どのように順序不変性を効果的に強制できるか？

主な発見

• 提案手法は、地上教師法線やBRDFを一切必要とせず、困難な実世界フォトメトリックステレオベンチマークで最先端の性能を達成した。
• 再構成損失に基づく教師なし学習フレームワークにより、外部の教師信号なしにテストデータ上で効果的な最適化が可能となり、外部の監視信号の必要性が排除された。
• アーキテクチャ設計のおかげで、入力画像の順序に依存しないロバスト性を示し、入力順序に関わらず一貫した予測を保証した。
• 再構成目的関数を通じて、明示的な教師信号なしに、複雑な反射モデル（BRDF）を暗黙的に学習できた。
• 未知の反射特性を持つベンチマークデータセットにおいて、既存手法を上回る性能を示し、実世界のシーンへの一般化能力に優れた。
• 学習段階で事前学習や地上教師データが一切不要であったことから、フォトメトリックステレオにおける再構成ベースの教師なし学習パラダイムの有効性が強く示された。