[論文レビュー] Shape from Mixed Polarization

Vage Taamazyan, Achuta Kadambi+1 more|arXiv (Cornell University)|May 6, 2016

Optical Polarization and Ellipsometry参考文献 16被引用数 9

ひとこと要約

本稿では、多視点偏光データを用いて、表面法線の同時推定、拡散反射と鏡面反射の分離、およびピクセル単位の屈折率の回復を統合的・物理的アプローチで行う手法を提案する。Fresnel方程式を統合的最適化フレームワークに組み込むことで、混合反射特性を示す表面においても形状から偏光（SfP）の精度が向上し、法線推定誤差が低減され、平均絶対誤差0.01の屈折率回復が可能になった。

ABSTRACT

Shape from Polarization (SfP) estimates surface normals using photos captured at different polarizer rotations. Fundamentally, the SfP model assumes that light is reflected either diffusely or specularly. However, this model is not valid for many real-world surfaces exhibiting a mixture of diffuse and specular properties. To address this challenge, previous methods have used a sequential solution: first, use an existing algorithm to separate the scene into diffuse and specular components, then apply the appropriate SfP model. In this paper, we propose a new method that jointly uses viewpoint and polarization data to holistically separate diffuse and specular components, recover refractive index, and ultimately recover 3D shape. By involving the physics of polarization in the separation process, we demonstrate competitive results with a benchmark method, while recovering additional information (e.g. refractive index).

研究の動機と目的

• 従来の形状から偏光（SfP）手法が純粋な拡散反射または鏡面反射を仮定しているため、実世界の混合反射特性を示す表面では失敗するという限界に対処すること。
• 偏光および多視点データを用いて、表面法線の推定、拡散成分と鏡面成分の分離、屈折率の回復を統合的に行う包括的アプローチを開発すること。
• Fresnel方程式を統合的最適化フレームワークに組み込むことで、逐次処理ではなく、反射分離プロセスに物理的原理を統合することにより、混合反射表面におけるSfPの精度を向上させること。
• 偏光データが形状回復にとどまらず、従来困難視されてきた屈折率推定をも向上させられることを実証すること。

提案手法

• 本手法は、少なくとも2つの視点と、各視点で3枚の偏光画像を用いて、反射光の完全な偏光状態を捉える。
• Fresnel方程式を用いて、表面法線、拡散反射成分および鏡面反射成分、ピクセル単位の屈折率を同時に推定する統合的最適化問題を定式化する。
• 拡散反射と鏡面反射の両方の偏光応答をモデル化し、拡散成分は、AtkinsonとHancockによるFresnel方程式の準表面散乱への拡張に基づく。
• 複数視点間での偏光の物理的整合性を活用して、天頂角および方位角のあいまいさを解消し、法線マップのノイズとアーチファクトを低減する。
• 非線形最適化フレームワークを用い、Fresnel方程式に由来する物理的制約を強制することで、反射分離と形状推定の両方の精度を向上させる。
• 反射分離とSfPを1つの推論ステップに統合することで逐次処理を回避し、より高いロバスト性と精度を実現する。

実験結果

リサーチクエスチョン

• RQ1 複数視点からの偏光データを用いて、物理的に整合的な方法で表面法線を同時に推定し、拡散反射と鏡面反射を分離できるか？
• RQ2 Fresnel方程式を統合的最適化フレームワークに組み込むことで、逐次的手法と比較して、混合反射表面における形状から偏光（SfP）の精度が向上するか？
• RQ3 校正済み光学セットアップが不要な標準的な偏光画像から、正確に屈折率を回復できるか？
• RQ4 本手法は、Nishinoらの手法のような既存の拡散・鏡面反射分離技術と比較して、法線マップの品質および屈折率推定において優れているか？

主な発見

• 物理実験において、表面法線推定の平均二乗誤差（MSE）を0.06から0.03に低減し、補正なしSfPおよびNishino手法を上回る性能を示した。
• 真値屈折率1.5のシミュレーテッド球体において、屈折率推定の平均絶対誤差を0.01に達成した。補正なしでは0.07、Nishino法による事前処理では0.18であった。
• 統合的最適化フレームワークにより、天井の照明の強い鏡面反射など、標準的なSfP結果を著しく劣化させる状況でも、表面法線を正常に回復できた。
• 本手法はピクセル単位の屈折率推定を可能にしたが、これは標準SfPや逐次的分離手法では実現できない機能である。
• 偏光の物理的性質を活用することで、形状回復にとどまらず、反射成分分離の精度も向上させ、アーチファクトとノイズを低減できることを示した。