[論文レビュー] Photometric Stereo in Participating Media Considering Shape-Dependent Forward Scatter

Yuki Fujimura, Masaaki Iiyama+2 more|arXiv (Cornell University)|Apr 9, 2018

Computer Graphics and Visualization Techniques参考文献 19被引用数 5

ひとこと要約

本稿では、いぶ、濁った水などの散乱媒体における3次元形状再構成のための光度ステレオ法を提案する。形状依存の表面-カメラフォワードスキャッタを空間的に変化する解析的カーネルでモデル化する。大規模で密なスキャッタ行列をカーネル収束を用いてスパース行列に近似することで、フォワードスキャッタの反復的除去が可能となり、バックスキャッタのみを考慮するモデルと比較して、極めて濁った環境下でも顕著に再構成精度が向上する。

ABSTRACT

Images captured in participating media such as murky water, fog, or smoke are degraded by scattered light. Thus, the use of traditional three-dimensional (3D) reconstruction techniques in such environments is difficult. In this paper, we propose a photometric stereo method for participating media. The proposed method differs from previous studies with respect to modeling shape-dependent forward scatter. In the proposed model, forward scatter is described as an analytical form using lookup tables and is represented by spatially-variant kernels. We also propose an approximation of a large-scale dense matrix as a sparse matrix, which enables the removal of forward scatter. Experiments with real and synthesized data demonstrate that the proposed method improves 3D reconstruction in participating media.

研究の動機と目的

• 散乱が画像品質を低下させる、いぶ、煙、濁った水などの散乱媒体における3次元形状再構成の課題に対処すること。
• 従来の方法が空間不変または平面近似を仮定するのに対し、物体の局所的・全体的形状に依存するフォワードスキャッタをモデル化すること。
• 従来の光度ステレオが画像のぼやけや信号劣化のため失敗する、極めて濁った媒体におけるフォワードスキャッタの有効な除去を可能にすること。
• 形状依存のフォワードスキャッタに起因する、シフト可変性を持つ大規模で密なスキャッタ行列を効率的に近似するスパース行列近似技術を開発すること。
• 形状とスキャッタ推定の反復的精錬を共同最適化フレームワークで行い、高精度な3次元再構成を達成すること。

提案手法

• 表面-カメラフォワードスキャッタを2次元ルックアップテーブルでモデル化し、単一散乱の解析的形を表現することで、形状依存性を捉える。
• フォワードスキャッタを空間的に変化するカーネル行列として定式化し、物体の幾何学的形状がスキャッタ分布に与える影響を反映する。
• 密なカーネル行列の計算的非実行性に対処するため、遠く離れた表面点間のカーネル収束を用いて、これをスパース行列に近似する。
• フォワードスキャッタ除去と3次元形状再構成を交互に繰り返す反復アルゴリズムを採用し、形状とスキャッタの相互依存性を解消する。
• ノイズ低減のため、校正済みの強度を持つ8つのLED光源を用い、平均化された画像をキャプチャすることで、再構成のためのロバストな入力を得る。
• タンクに水を満たした状態でカメラキャリブレーションを実施し、タンクの壁での屈折を考慮することで、幾何的正確性を確保する。

実験結果

リサーチクエスチョン

• RQ1 散乱媒体におけるフォワードスキャッタは、空間不変なぼやけとしてではなく、形状依存の空間的に変化する現象として正確にモデル化可能か？
• RQ2 形状依存のフォワードスキャッタを表す大規模で密な行列を、実用的な計算に耐える形で効率的に近似できるか？
• RQ3 形状とスキャッタの反復的共同最適化により、極めて濁った媒体においてフォワードスキャッタを効果的に除去できるか？
• RQ4 バックスキャッタのみを考慮する手法と比較して、フォワードスキャッタをモデル化することで3次元再構成精度が向上するか？
• RQ5 提案手法の収束特性と、さまざまな濁度レベルおよび複雑な物体形状においてのロバストネスはいかがなものか？

主な発見

• 合成データを用いたシェルオブジェクトでは、平均角誤差が1.29°に達し、高い再構成精度を示した。
• 120Lの水に30mLのミルクを加えた実データにおいて、提案手法は平均角誤差を1.30°にまで低減し、バックスキャッタのみの手法を著しく上回った。
• バックスキャッタのみの手法[22]は、球体において平均角誤差が19.48°であったが、提案手法は5反復で3.66°に収束した。
• 提案手法は、30mLのミルクを含む高濁度下でも、シェルやテトラポッドのような複雑なオブジェクトの微細な局所的勾配を正常に再構成できた。一方、バックスキャッタのみの手法では形状が平坦化された。
• 5反復以内に収束したため、形状依存スキャッタの複雑さにもかかわらず、安定的かつ効率的な最適化が可能であることが示された。
• スパース行列近似の活用により、元来非現実的とされる密なスキャッタ行列の実用的計算が可能となり、スケーラビリティが確保された。