[論文レビュー] A CNN Based Approach for the Near-Field Photometric Stereo Problem

Fotios Logothetis, Ignas Budvytis+2 more|Cambridge University Engineering Department Publications Database|Sep 12, 2020

Optical measurement and interference techniques参考文献 1被引用数 4

ひとこと要約

本稿では、径方向の光減衰、透視幾何、鏡面反射といった現実的な照明効果を扱う、初めてのCNNベースの近距離光度ステレオ手法を提示する。ピクセル単位のCNNを用いて表面法線を繰り返し推定し、数値的統合によって深度を精緻化することで、最先端の精度を達成し、従来手法と比較して合成データ上での平均角誤差を6°以上低減した。

ABSTRACT

Reconstructing the 3D shape of an object using several images under different light sources is a very challenging task, especially when realistic assumptions such as light propagation and attenuation, perspective viewing geometry and specular light reflection are considered. Many of works tackling Photometric Stereo (PS) problems often relax most of the aforementioned assumptions. Especially they ignore specular reflection and global illumination effects. In this work, we propose the first CNN based approach capable of handling these realistic assumptions in Photometric Stereo. We leverage recent improvements of deep neural networks for far-field Photometric Stereo and adapt them to near field setup. We achieve this by employing an iterative procedure for shape estimation which has two main steps. Firstly we train a per-pixel CNN to predict surface normals from reflectance samples. Secondly, we compute the depth by integrating the normal field in order to iteratively estimate light directions and attenuation which is used to compensate the input images to compute reflectance samples for the next iteration. To the best of our knowledge this is the first near-field framework which is able to accurately predict 3D shape from highly specular objects. Our method outperforms competing state-of-the-art near-field Photometric Stereo approaches on both synthetic and real experiments.

研究の動機と目的

• 近距離光度ステレオにおける3次元形状再構築の課題に、透視幾何、点光源、鏡面反射といった現実的な物理的仮定を組み合わせて対処すること。
• 従来手法が近距離設定における非拡散反射および光減衰を単純化または無視するという限界を克服すること。
• 反復的深度推定を用いて光減衰を補償することで、近距離シナリオにおけるディープラーニングベースの法線予測を可能にすること。
• トレーニング時のデータ拡張により、影や相互反射を含むグローバルライティング効果へのロバスト性を向上させること。
• 最先端の最適化ベースおよびCNNベースの手法と比較して、合成および実世界の近距離データセットにおいて優れた性能を示すこと。

提案手法

• 光減衰を推定された深度マップを用いて補正した反射率サンプルから得られる入力画像を入力とし、ピクセル単位のCNNをトレーニングして表面法線を予測する。
• 反復的手順を採用：まず、補正済みの反射率サンプルから法線を予測し、次に法線を統合して深度を更新し、次の反復のために光の方向・減衰係数の推定値を精緻化する。
• 初期の深度推定値を用いて光減衰を補正することで、近距離設定でも遠距離用のCNNアーキテクチャを活用可能にする。
• トレーニングデータは仮想的な近距離キャプチャ設定を用いて合成され、分布シフトを低減するための幾何的データ拡張（深度の変動など）が可能になる。
• 観測マップはBRDFサンプル（MERLおよびDisney BSDF）から構築され、影や自己反射効果を追加することで一般化性能を向上させる。
• 法線場の数値的統合を用いて深度を再構築し、光の方向および減衰パrameterの推定値を反復的に精緻化する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNは、現実的な照明および素材効果を扱う近距離光度ステレオ問題に効果的に適応可能か？
• RQ2 近距離設定における光減衰および透視効果をどのように補正することで、遠距離用CNNアーキテクチャを近距離文脈で利用可能にするか？
• RQ3 データ拡張戦略は、近距離PSにおける影や相互反射を含む複雑なグローバルライティング効果への一般化をどの程度向上できるか？
• RQ4 単一ステップのCNN推論と比較して、深度および光パrameterの反復的精緻化は再構築精度を向上させるか？
• RQ5 CNNベースのアプローチは、特に高鏡面反射物体において、最先端の最適化ベース手法を上回る性能を示せるか？

主な発見

• 提案手法は、従来の最先端手法 [Quéau et al., 2018] と比較して、合成データ上での平均角誤差を6°以上低減した。
• 本手法は、合成および実世界の近距離データセットの両方で、最適化ベースの手法 [Logothetis et al., 2017; Quéau et al., 2018] および遠距離用CNNの単純な適応手法を上回った。
• 定性的な結果では、競合手法とは異なり、鏡面ハイライト（例：象の中央部）や影がかかる領域（例：カエルのへそ）に顕著な変形が見られなかった。
• 現実的なBRDF（MERLおよびDisney）の使用と、影および自己反射の拡張処理により、グローバルライティング効果へのロバスト性が著しく向上した。
• 光減衰補正なしに遠距離用CNNを近距離画像に単純に適用した場合、重度の歪みと高いMAEが生じ、反復的補正フレームワークの必要性が明確に示された。
• 法線の反復的統合により、光の方向および減衰係数の推定値が向上し、その結果、反復の度に法線予測の精度が向上した。