[論文レビュー] Full 3D Reconstruction of Transparent Objects

Bojian Wu, Yang Zhou+3 more|arXiv (Cornell University)|May 9, 2018

Computer Graphics and Visualization Techniques被引用数 8

ひとこと要約

本論文では、2台のカメラを用いたターンテーブル設定により、輪郭と光の屈折経路を捉えることで、透明物体の完全な3次元再構成を完全に自動的に行う初めての手法を提示する。表面および屈折法線の一貫性、輪郭の一貫性、表面の滑らかさという制約の下で初期モデルを繰り返し最適化することで、忠実な屈折特性を再現する高精度で写真実地的な複雑な透明形状の再構成を達成する。

ABSTRACT

Numerous techniques have been proposed for reconstructing 3D models for opaque objects in past decades. However, none of them can be directly applied to transparent objects. This paper presents a fully automatic approach for reconstructing complete 3D shapes of transparent objects. Through positioning an object on a turntable, its silhouettes and light refraction paths under different viewing directions are captured. Then, starting from an initial rough model generated from space carving, our algorithm progressively optimizes the model under three constraints: surface and refraction normal consistency, surface projection and silhouette consistency, and surface smoothness. Experimental results on both synthetic and real objects demonstrate that our method can successfully recover the complex shapes of transparent objects and faithfully reproduce their light refraction properties.

研究の動機と目的

• 既存の手法が光の屈折のための捕捉に失敗するため、透明物体の完全な3次元形状を再構成するという長年の課題に取り組む。
• 手作業による塗装や侵襲的なキャリブレーションの必要を排除し、市販部品を用いた非侵襲的で自動的なデータ取得を可能にする。
• 輪郭と屈折データの両方を活用した、幾何学的形状と光学的挙動を正確に回復する強固な最適化フレームワークを開発する。
• 実際の透明物体の屈折特性を忠実に再現する写真実地的な3次元モデルを生成する。
• 部分的再構成にとどまらず、複数の制約を統合することで、最終形状の完全性と滑らかさを保証する。

提案手法

• ターンテーブル、1台のLCDモニタ（背景光源）および2台の固定カメラを用いて、輪郭と屈折光線対応関係を捉える。
• 捕らえた輪郭と屈折経路から空間カービングにより初期の粗いモデルを生成する。
• 表面および屈折法線の一貫性、表面投影と輪郭の一貫性、表面の滑らかさという3つのコア制約を用いて、モデルを繰り返し最適化する。
• 輪郭境界と屈折挙動を保持したまま幾何学的形状を精緻化する、新しい点統合定式化を採用する。
• 2段階のデータ収集を実施：1つは前面視認の輪郭と屈折経路を、もう1つは背面対応関係を収集して深度推定を向上させる。
• 2回の屈折仮定に反するデータをフィルタリングする一貫性チェックを適用し、複雑な領域でのロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動による介入や物体の塗装なしに、完全に自動化された手法で透明物体の完全な3次元形状を再構成できるか？
• RQ2 光の屈折経路と輪郭を併用することで、透明素材における正確な表面幾何学的形状と法線の一貫性を推定できるか？
• RQ3 アーチファクトの発生を防ぎ、トポロジカルに正しい形状を保つために、表面の滑らかさと輪郭の一貫性をどのように強制できるか？
• RQ4 本手法は、ウサギやマウスのモデルに見られるような複雑な凹面や透明部をどの程度正確に処理できるか？
• RQ5 複数回の屈折や中空内部が存在する場合、本手法にどのような限界が生じるか？

主な発見

• 本手法は、ウサギやマウスの首やお腹のような凹面領域を含む、複雑な透明物体の3次元形状を成功裏に再構成した。これは従来の手法がしばしば不完全に捉える領域である。
• 反復回数を重ねるごとに再構成誤差が著しく減少し、図14eの誤差曲線に示されるように、約20反復後に収束した。
• 最終的な再構成は、図17および図18に示されるように、レンダリングモデルと実物の写真との間で視覚的に類似した輪郭を忠実に保持している。
• モニタのカバー範囲による光線対応関係の一部欠落（図15）があるものの、滑らかさと一貫性の制約により、高精度を維持している。
• 複数回の屈折が生じる領域（例：図18の赤色ハイライト部）にのみアーチファクトが現れることが確認され、本手法が2回屈折仮定に依存していることが裏付けられた。
• 再構成モデルの写真実地的レンダリングが達成されており、さまざまな照明条件下でも実物の写真と視覚的品質が一致している。