[論文レビュー] Non-Lambertian Surface Shape and Reflectance Reconstruction Using Concentric Multi-Spectral Light Field

Mingyuan Zhou, Yu Ji+4 more|arXiv (Cornell University)|Apr 9, 2019

Advanced Vision and Imaging参考文献 41被引用数 4

ひとこと要約

本論文は、表面の事前知識を必要とせず、1ショットで非ラムベールト型表面の形状とマルチスペクトル反射率を回復可能な同心多スペクトル光場（CMSLF）システムを提案する。同心円上に配置されたスペクトル多重化されたカメラと照明を用いることで、複数の視点における特徴的な鏡面反射の変化パターンを活用し、物理ベースの二色性フォンモデルをS-Cam表現に適用することで、深度推定と拡散成分と鏡面成分の分離を確実に実現する。合成および実世界のシーンにおいて、正規法線誤差が2°未塔であり、高精度な反射率再構築を達成した。

ABSTRACT

Recovering the shape and reflectance of non-Lambertian surfaces remains a challenging problem in computer vision since the view-dependent appearance invalidates traditional photo-consistency constraint. In this paper, we introduce a novel concentric multi-spectral light field (CMSLF) design that is able to recover the shape and reflectance of surfaces with arbitrary material in one shot. Our CMSLF system consists of an array of cameras arranged on concentric circles where each ring captures a specific spectrum. Coupled with a multi-spectral ring light, we are able to sample viewpoint and lighting variations in a single shot via spectral multiplexing. We further show that such concentric camera/light setting results in a unique pattern of specular changes across views that enables robust depth estimation. We formulate a physical-based reflectance model on CMSLF to estimate depth and multi-spectral reflectance map without imposing any surface prior. Extensive synthetic and real experiments show that our method outperforms state-of-the-art light field-based techniques, especially in non-Lambertian scenes.

研究の動機と目的

• 従来の写真一貫性制約が無効となる視点依存的な外観ゆえに、非ラムベールト型表面の幾何形状と反射率を再構築する課題に対処すること。
• 非ラムベールト型シーンにおいて、滑らかさや多項式形状といった表面事前知識を必要とする既存の光場手法の限界を克服すること。
• 独創的なハードウェア設計を用いて、任意の素材に対して1ショットで高精度な3次元形状とマルチスペクトル反射率を再構築すること。
• 同心カメラ／照明構成における視点間での特徴的な鏡面反射変化パターンを活用し、表面の事前仮定なしに、安定した深度推定を可能とすること。

提案手法

• カメラとリングライトを同心円上に配置した同心多スペクトル光場（CMSLF）システムを設計し、各カメラが特定の狭帯域スペクトルで撮影することで、視点と照明方向のスペクトル多重化を実現する。
• 表面カメラ（S-Cam）表現を用いて、シーン上の点から撮影された光場へと戻る方向の反射率分布をモデル化し、物理ベースの反射率モデリングを可能にする。
• S-Camデータ上に二色性フォン反射率モデルを定式化し、拡散成分と鏡面成分を、それらの異なるスペクトル的・角度的特性を活用して分離する。
• 同心構成における視点間での特徴的な鏡面反射変化パターンを用いて、表面の事前仮定なしに、安定した深度推定を開始する。
• 特定の特徴を同定することで、すべての表面点の鏡面成分を除去し、鏡面成分なしのS-Camデータを取得し、同時に法線と反射率の推定を実行する。
• 鏡面成分なしのS-Camデータを用いて、表面法線とマルチスペクトル反射率係数を反復的に最適化することで、再構築精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 同心多スペクトル光場設計は、表面事前知識なしに非ラムベールト型表面の形状と反射率を1ショットで回復可能か？
• RQ2 同心カメラ構成における視点間での特徴的な鏡面反射変化パターンは、非ラムベールト型シーンにおける安定な深度推定にどのように活用可能か？
• RQ3 S-Cam表現上に構築された物理ベースの反射率モデルは、表面事前知識なしに拡散成分と鏡面成分を効果的に分離可能か？
• RQ4 狭帯域フィルタを用いたスペクトル多重化は、1回の撮影で干渉のない複数の視点と照明方向のサンプリングをどの程度可能にするか？

主な発見

• 提案されたCMSLFシステムは、任意の素材を有する合成球体シーンにおいて、2°未塔の正規法線誤差を達成し、高い幾何的精度を示した。
• 仏像頭部や磁器のような複雑なシーンにおいても、最大法線誤差が3°未塔にとどまり、複雑な幾何形状に対しても耐性があることが示された。
• 本手法は、高周波数の表面ディティールとスペクトル反射率マップを効果的に回復でき、非ラムベールト型再構築において最先端の光場手法を上回った。
• 狭帯域フィルタを用いたスペクトル多重化により、1回の撮影で12の視点と12の照明方向を干渉なくサンプリング可能であり、効率的な1ショット撮影を実現した。
• 同心構成における特徴的な鏡面反射変化パターンにより、表面の滑らかさや形状に関する事前仮定なしに、信頼性の高い深度推定と鏡面成分の除去が可能となった。
• 実世界の実験により、プラスチックやセラミックなど多様な素材で手法の有効性が検証されたが、大きな遮蔽や影が存在する場合には、スペクトルサンプリングが不十分なために性能が劣化した。