[論文レビュー] LUCES: A Dataset for Near-Field Point Light Source Photometric Stereo

Roberto Mecca, Fotios Logothetis+2 more|arXiv (Cornell University)|Apr 27, 2021

Optical measurement and interference techniques被引用数 10

ひとこと要約

本稿では、14種類の多様な素材で構成され、近接距離のLED照明下で撮影された、近接光源点光源を用いたフォトメトリックステレオのための実世界データセットLUCESを紹介する。本研究では、真値の法線マップと深度マップを用いて最先端の近接フォトメトリックステレオ手法の性能を評価し、深層学習手法が古典的な最適化手法を上回ることを明らかにした。特に鏡面および金属的素材において顕著な優位性を示したが、エッジ領域はすべての手法において依然として課題である。

ABSTRACT

Three-dimensional reconstruction of objects from shading information is a challenging task in computer vision. As most of the approaches facing the Photometric Stereo problem use simplified far-field assumptions, real-world scenarios have essentially more complex physical effects that need to be handled for accurately reconstructing the 3D shape. An increasing number of methods have been proposed to address the problem when point light sources are assumed to be nearby the target object. The proximity of the light sources complicates the modeling of the image formation as the light behaviour requires non-linear parameterisation to describe its propagation and attenuation. To understand the capability of the approaches dealing with this near-field scenario, the literature till now has used synthetically rendered photometric images or minimal and very customised real-world data. In order to fill the gap in evaluating near-field photometric stereo methods, we introduce LUCES the first real-world 'dataset for near-fieLd point light soUrCe photomEtric Stereo' of 14 objects of a varying of materials. A device counting 52 LEDs has been designed to lit each object positioned 10 to 30 centimeters away from the camera. Together with the raw images, in order to evaluate the 3D reconstructions, the dataset includes both normal and depth maps for comparing different features of the retrieved 3D geometry. Furthermore, we evaluate the performance of the latest near-field Photometric Stereo algorithms on the proposed dataset to assess the SOTA method with respect to actual close range effects and object materials.

研究の動機と目的

• ハンディ端末や内視鏡デバイスなどの実用的応用が増加する中で、近接フォトメトリックステレオ手法を評価するための標準化された実世界データセットが不足している問題に対処すること。
• 光の減衰、視野歪み、非ラムベールト的素材といった複雑な物理的効果を捉えた、近接フォトメトリックステレオの包括的ベンチマークを提供すること。
• 最近の近接フォトメトリックステレオアルゴリズムの性能を、多様な素材（拡散、金属、鏡面）を含む実データ上で評価すること。
• 法線マップと深度マップを真値として用いた公平で再現可能な評価プロトコルを確立し、深度が法線よりも信頼性の高い評価指標であることを強調すること。
• 特に高周波数領域や不連続性付近の3次元再構成における継続的な課題を特定し、今後の研究がエッジ処理の向上に向けて進むように導くこと。

提案手法

• 52個のLEDをカメラから10〜30 cmの距離に配置し、14体の実物の物体をさまざまな角度から照射することで、近接光源点光源を模擬した。
• キャリブレーション済みのカメラが制御された照明条件下でフォトメトリック画像を撮影し、各撮影における正確な光源およびカメラのキャリブレーションパラメータを記録した。
• 各物体の真値3次元幾何形状は、高精度のGOMレーザースキャニングにより取得され、法線マップと深度マップの両方が提供された。
• 評価フレームワークでは、古典的な最適化に基づく手法と深層学習アプローチを含む、複数の最先端の近接フォトメトリックステレオアルゴリズムを、法線誤差および深度誤差の両指標で比較した。
• 標準的な指標（法線マップおよび深度マップの平均絶対誤差（MAE））を適用し、異なる素材や物体の幾何形状における再構成誤差を可視化した。
• 再構成品質の定性的な評価を実施し、特にエッジ領域や高周波数ディテールに注目した。また、径方向歪みや画像前処理の影響が最終結果に与える影響についても議論した。

実験結果

リサーチクエスチョン

• RQ1 近接照明下で多様な素材を有する実世界データに対して、現在の近接フォトメトリックステレオアルゴリズムはどの程度の性能を示すか？
• RQ2 近接フォトメトリックステレオ画像から3次元幾何を再構成する際、古典的な最適化に基づく手法と深層学習に基づく手法の相対的な性能はいかがなっているか？
• RQ3 鏡面性や金属的反射率といった素材特性が、近接フォトメトリックステレオにおける3次元再構成の精度にどの程度の影響を及ぼすか？
• RQ4 レーザースキャナによる真値法線に内在するノイズを考慮すると、法線マップと深度マップのどちらが近接フォトメトリックステレオの評価指標としてより信頼性が高いと考えられるか？
• RQ5 特に鋭い境界線や高幾何的複雑性を示す領域において、既存の手法の主な失敗モードは何か？

主な発見

• Logothetisら（2020a）の深層学習ベース手法が、大多数の物体で最も優れた全体的性能を示し、特に複雑な素材の処理と法線誤差の低減で顕著な優位性を示した。
• Santoら（2020b）の手法は、鏡面および金属的素材（例：ダイ、マグナム、ベル）において他の手法を上回った。これは、微細な表面ディテールを捉えるパッチベースのネットワークアーキテクチャのおかげである。
• 遠方仮定に基づく手法（Ikehata, 2018）は、想定通り著しく失敗した。これは、近接光源の光の減衰および視野歪みをモデル化できないためである。
• 最も性能の優れた手法ですら、ジャーナル、オウル、マグナムの物体において、鋭いエッジや不連続性といった高周波数領域の再構成に苦戦した。
• 法線マップの予測は深度マップの予測よりもノイズが多く、これはレーザースキャナによる真値法線に固有の不正確性が内在している可能性を示唆しており、深度がより信頼性の高い評価指標であると考えられる。
• 本研究では、深層学習モデルにおいて素材の鏡面性が性能を著しく低下させないことが観察された。モデルは、素材の種別に関係なく、常に凸面で自己反射のない領域を正しく再構成した。