[論文レビュー] Neural Inverse Rendering for General Reflectance Photometric Stereo

Tatsunori Taniai, Takanori Maehara|arXiv (Cornell University)|Feb 28, 2018

Computer Graphics and Visualization Techniques被引用数 56

ひとこと要約

この論文は、未知で一般的なBRDFを扱う無監督の物理ベースCNNフレームワーク（PSNetとIRNet）を提案し、マルチライティング画像から画素ごとの表面法線とBRDFを共同推定する。観測をレンダリングしてテストシーン上で再構成損失を直接最小化することで実世界データで最先端の性能を達成し、真の法線や事前学習を必要としない。

ABSTRACT

We present a novel convolutional neural network architecture for photometric stereo (Woodham, 1980), a problem of recovering 3D object surface normals from multiple images observed under varying illuminations. Despite its long history in computer vision, the problem still shows fundamental challenges for surfaces with unknown general reflectance properties (BRDFs). Leveraging deep neural networks to learn complicated reflectance models is promising, but studies in this direction are very limited due to difficulties in acquiring accurate ground truth for training and also in designing networks invariant to permutation of input images. In order to address these challenges, we propose a physics based unsupervised learning framework where surface normals and BRDFs are predicted by the network and fed into the rendering equation to synthesize observed images. The network weights are optimized during testing by minimizing reconstruction loss between observed and synthesized images. Thus, our learning process does not require ground truth normals or even pre-training on external images. Our method is shown to achieve the state-of-the-art performance on a challenging real-world scene benchmark.

研究の動機と目的

• Lambertian仮設を超えた未知の一般BRDFに対するフォトメトリックステレオの課題を扱う。
• 真偽の法線や外部プリトレーニングを必要としない、無監督・シーン毎の学習フレームワークを開発する。
• CNNアーキテクチャに物理的反射レンダリングを組み込み、複雑なBRDFを学習する。
• 対象データ上で直接評価することで置換不変性を確保し、実世界のシーンへの適用性を担保する。

提案手法

• 二つのサブネットワーク構成: PSNetは既知の照明方向の下で連結入力画像から画素ごとの表面法線マップを予測する。IRNetは観測をレンダリング風のBRDFと影モデルで合成し、反射率画像を出力する。
• IRNetの入力にはスペキュラリティのヒントチャネル、PSNet出力とグローバル特徴のブレンド、各照明に対する情報を含め、レンダリング方程式 I = R ⊙ max(ℓ^T N, 0) によって各観測を再構成する。
• エンドツーエンドの訓練は、観測画像と合成画像の再構成損失（Lrec）と、複雑なシーンでの学習を安定化させるための初期段階での弱教師信号（Lprior）を組み合わせて最小化する。
• 学習はテストシーン上でSGD中に直接行われ、事前学習は行わず、再構成損失にランダムドロップアウトを導入して収束を改善し、与えられたデータに対して訓練統計をBatchNormで設定する。
• 再構成損失は対象物体領域に焦点を当て、スペキュラリティのハイライトに頑健なMAE形式を用いる。

実験結果

リサーチクエスチョン

• RQ1 未知の一般BRDFに対して、地表の法線を正確に回復するための無監督・シーン毎学習は可能か？
• RQ2 物理ベースのレンダリング方程式をCNNに組み込むことで、手作業で設計したモデルを超える広範なBRDFの学習を実現できるか？
• RQ3 初期段階の弱教師は、完全監督なしや全段階監督と比べて、複雑な実世界シーンでの収束と精度を改善するか？
• RQ4 外部データでの事前学習なしで、実データベンチマーク（例：DiLiGenT）で最先端のフォトメトリックステレオ性能を達成できるか？

主な発見

• DiLiGenT実世界ベンチマークで平均スコアが最も良く、8つのシーン中最多の個別スコアを獲得するなど、最先端の性能を達成。
• スペキュラリティ入力と全体的な観測ブレンドを含む完全なアーキテクチャが最も高い精度を生み、スペキュラリティチャネルを除くと金属様表面で性能が顕著に低下する。
• 初期段階の弱教師は学習を安定させ、中央値・平均角度誤差が、監督なしや全段階監督に比べて改善され、地上真の法線がなくても効果的な最適化を実現。
• 無監督でテストデータにネットワーク重みを適合させる形でシーン毎に学習を実施し、事前のプリトレーニングなしでも従来の学習ベース法や古典法を上回る。
• IRNetにスペキュラルの手がかりと物理ベースのレンダリングを組み込むことで、データ駆動のみのアプローチより複雑なBRDFの学習が改善される。
• 本手法は計算コストが高い（シーンあたり概ね数時間）ものの、多様な材質・照明を扱う上で頑健性と柔軟性を示す。