[論文レビュー] Self-calibrating Deep Photometric Stereo Networks

Guanying Chen, Kai Han+3 more|arXiv (Cornell University)|Mar 18, 2019

Advanced Vision and Imaging参考文献 35被引用数 5

ひとこと要約

本稿では、非ラムベールアン非定常なシーンにおけるキャリブレーションなしフォトメトリックステレオのための2段階のディーブラーニングフレームワーク、SDPS-Netを提案する。本手法は、表面法線と未知の光源方向・強度を同時に推定する。光源キャリブレーションと法線推定を分離し、中間監視を活用することで、合成データおよび実世界データの両方で最先端の性能を達成し、従来のキャリブレーションなし手法に比べて、法線推定および光源推定の精度で顕著に優れている。

ABSTRACT

This paper proposes an uncalibrated photometric stereo method for non-Lambertian scenes based on deep learning. Unlike previous approaches that heavily rely on assumptions of specific reflectances and light source distributions, our method is able to determine both shape and light directions of a scene with unknown arbitrary reflectances observed under unknown varying light directions. To achieve this goal, we propose a two-stage deep learning architecture, called SDPS-Net, which can effectively take advantage of intermediate supervision, resulting in reduced learning difficulty compared to a single-stage model. Experiments on both synthetic and real datasets show that our proposed approach significantly outperforms previous uncalibrated photometric stereo methods.

研究の動機と目的

• 非ラムベールアン非定常な表面における、反射特性や光源分布に関する制限的な仮定を必要としないキャリブレーションなしフォトメトリックステレオの課題に取り組むこと。
• 従来の手法が反射特性や光源分布に関する制限的な仮定に依存しているという限界を克服すること。
• 2段階のアーキテクチャにより中間監視を導入することで、法線と光源の同時推定における学習の難易度を低減し、最終的な法線推定性能を向上させること。
• 既存のキャリブレーション済みフォトメトリックステレオ手法が、光源推定モジュールとシームレスに統合されることで、未知の光源条件下でも動作可能になるようにすること。
• 多様な素材や複雑な反射特性を有する実世界のシナリオにおいて、安定的かつ高精度な法線および光源推定を実現すること。

提案手法

• 本フレームワークは2段階構造である：入力画像から光源方向と強度を推定する「光源キャリブレーションネットワーク（LCNet）」の後段に、表面法線を予測する「法線推定ネットワーク（NENet）」を配置する。
• LCNetは任意の数の入力画像を処理し、中間監視を用いた深層ニューラルネットワークにより、3次元光源方向ベクトルとスカラー強度を回帰する。
• NENetは推定された光源条件と入力画像を入力とし、キャリブレーション済みの光源情報を活用することで、高精度な密な表面法線マップを予測する。
• 2段階の設計により中間監視が可能となり、エンドツーエンド学習の複雑さが軽減され、モデルの解釈性が向上する。
• 本手法は一様な材料特性を持つ合成データのみで学習されているが、複雑な反射特性を有する実世界のシーンへも一般化可能である。
• 光源推定モジュールは、既存のキャリブレーション済みフォトメトリックステレオネットワークと統合可能であり、未キャリブレーションな状況への適用範囲を拡張できる。

実験結果

リサーチクエスチョン

• RQ1 反射特性や光源分布に関する事前仮定を必要とせず、非ラムベールアン非定常表面の表面法線と未知の光源方向を、ディーブラーニングベースの手法で同時に推定できるか？
• RQ2 光源推定に中間監視を導入した2段階アーキテクチャは、エンドツーエンド学習と比較して、学習の難易度を低減し、最終的な法線推定性能を向上させるか？
• RQ3 提案された光源推定モジュールは、既存のキャリブレーション済みフォトメトリックステレオネットワークと効果的に転送・統合可能か？
• RQ4 本手法は、複雑で非一様な反射特性と変動する光源条件を有する実世界データセットへ、どれほど一般化可能か？
• RQ5 本手法は、最先端のキャリブレーションなしフォトメトリックステレオ手法に比べ、法線推定および光源推定の精度でどの程度の定量的向上を達成するか？

主な発見

• ベンチマークデータセットにおいて、SDPS-Netは平均法線推定誤差9.51°を達成し、従来の最先端手法UPS-FCN（平均誤差13.62°）を顕著に上回った。
• Gourd&Appleデータセットでは、平均光源方向誤差6.83°、強度誤差0.113を達成し、挑戦的な実世界データでも高い性能を示した。
• Light Stage Data Galleryでは、平均光源方向誤差13.61°、強度誤差0.221を達成し、多様な実世界シーンへの強力な一般化性能を示した。
• アブレーションスタディにより、中間監視付き2段階設計（LCNet + NENet）が、ベースラインのLCNet単体の回帰と比較して、平均法線誤差を11.03°低減することが確認された。
• 実データセットにおいて、図8(c)-(g)の定性的な結果から、視覚的に妥当で高精度な表面法線マップが得られており、実用的応用性を裏付けた。
• 一様な素材に対しては優れた性能を示したが、色の急激な変化を示す多素材表面では限界が見られ、今後の研究として空間的に変化するBRDFの取り扱いが必要である。