[論文レビュー] SPLINE-Net: Sparse Photometric Stereo through Lighting Interpolation and Normal Estimation Networks

Qian Zheng, Yiming Jia+4 more|arXiv (Cornell University)|May 10, 2019

Computer Graphics and Visualization Techniques参考文献 39被引用数 6

ひとこと要約

SPLINE-Net は、対称および非対称の損失関数を用いた深層ネットワークを用いて、光度ステレオのスパース入力に対して同時に照明補間と法線推定を学習することで、一般化された BRDF をモデル化し、等方性制約と構造的補完を用いてグローバルな照明の外れ値を排除することにより、わずか 10 枚の入力画像で最先端の精度を達成する。

ABSTRACT

This paper solves the Sparse Photometric stereo through Lighting Interpolation and Normal Estimation using a generative Network (SPLINE-Net). SPLINE-Net contains a lighting interpolation network to generate dense lighting observations given a sparse set of lights as inputs followed by a normal estimation network to estimate surface normals. Both networks are jointly constrained by the proposed symmetric and asymmetric loss functions to enforce isotropic constrain and perform outlier rejection of global illumination effects. SPLINE-Net is verified to outperform existing methods for photometric stereo of general BRDFs by using only ten images of different lights instead of using nearly one hundred images.

研究の動機と目的

• わずか数枚の入力画像で一般化された BRDF を扱うスパース光度ステレオを解消し、データ収集とキャリブレーションの負担を軽減すること。
• 光度ステレオにおける相互反射や影などのグローバルな照明効果の課題に対処すること。
• スパースな照明条件下で、スパースな入力をもとに密度の高い照明観測を生成することで、法線推定の精度を向上させること。
• 物理的事前知識（特に等方性と外れ値へのロバスト性）を、新たな損失関数を通じて深層学習ベースの光度ステレオに組み込むこと。

提案手法

• SPLINE-Net は、学習可能な表現を用いてスパースな入力観測マップから密度の高い観測マップを生成する照明補間ネットワーク（LI-Net）と、生成された密度の高い観測マップから表面法線を推定する法線推定ネットワーク（NE-Net）の二つのサブネットワークから構成される。
• 対称損失関数は、観測マップ上の画素値が表面法線方向に対して対称的に分布するように制約を課すことにより、等方性を強制する。
• 非対称損失関数は、対称的に分布する画素間の差が非ゼロであるように制約を課すことにより、グローバルな照明効果をモデル化し、外れ値の除外を可能にする。
• 二つのネットワークは、両方の損失関数を併用して共同で学習され、一般化性能および現実世界の照明アーチファクトに対するロバスト性が向上する。
• 観測マップは密度の高い照明表現として用いられ、モデルがスパースな入力を欠損した画像とみなして補完（インpainting）を行うことを可能にする。

実験結果

リサーチクエスチョン

• RQ1 わずか 10 枚のスパースな入力画像から、深層学習を用いて密度の高い照明観測を生成し、光度ステレオの精度を向上させることができるか？
• RQ2 反射の等方性を、一般化された BRDF における法線推定の精度向上を目的として、深層学習フレームワーク内で明示的にモデル化できるか？
• RQ3 相互反射や影などのグローバルな照明効果が、微分可能な損失関数を通じて法線推定段階で効果的に除外可能か？
• RQ4 スパース入力からのエンドツーエンド回帰と比較して、照明補間と法線推定の共同最適化が性能を向上させるか？

主な発見

• SPLINE-Net は、わずか 10 枚の入力画像で、ほぼ 100 枚の入力が必要な従来手法を上回る、最先端の法線推定性能を達成する。
• 対称損失は等方性を強制することで顕著に性能を向上させ、法線推定における角度誤差を低減する。
• 非対称損失はグローバルな照明効果に対するロバスト性を高め、相互反射や影領域における誤差を低減する。
• アブレーションスタディの結果、LI-Net が直接回帰よりも一般化性能を向上させ、両方の損失関数が精度向上に寄与することが確認された。
• 視覚的比較では、入力に外れ値による暗いスポットが存在しても、SPLINE-Net はベースラインと比較して滑らかでより正確な観測マップおよび法線マップを生成する。
• 非ラムベール的表面においては優れた性能を示すが、拡散支配の表面では深層学習ベースの手法（SPLINE-Net を含む）は依然として性能を発揮できていないことから、現在のアプローチの限界が示唆される。