[論文レビュー] Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container

Jinguang Tong, Sundaram Muthu+3 more|arXiv (Cornell University)|Mar 24, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、透明な容器内の物体の高精細な幾何を回復するために、屈折・反射を明示的にモデル化する新しいニューラル3D再構成手法ReNeuSを提案する。シーンを内部および外部のサブスペースに分割し、ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略を用いることで、合成データおよび実データの両方で最先端の性能を達成し、NeuS や IDR などの既存手法を上回る。特に、昆虫の翼や触角といった微細な詳細の再構成において顕著な優位性を示す。

ABSTRACT

In this paper, we define a new problem of recovering the 3D geometry of an object confined in a transparent enclosure. We also propose a novel method for solving this challenging problem. Transparent enclosures pose challenges of multiple light reflections and refractions at the interface between different propagation media e.g. air or glass. These multiple reflections and refractions cause serious image distortions which invalidate the single viewpoint assumption. Hence the 3D geometry of such objects cannot be reliably reconstructed using existing methods, such as traditional structure from motion or modern neural reconstruction methods. We solve this problem by explicitly modeling the scene as two distinct sub-spaces, inside and outside the transparent enclosure. We use an existing neural reconstruction method (NeuS) that implicitly represents the geometry and appearance of the inner subspace. In order to account for complex light interactions, we develop a hybrid rendering strategy that combines volume rendering with ray tracing. We then recover the underlying geometry and appearance of the model by minimizing the difference between the real and hybrid rendered images. We evaluate our method on both synthetic and real data. Experiment results show that our method outperforms the state-of-the-art (SOTA) methods. Codes and data will be available at https://github.com/hirotong/ReNeuS

研究の動機と目的

• 透明な容器に閉じ込められた物体の3D再構成という課題に取り組む。これは、複数回の反射・屈折によって深刻な画像歪みを引き起こすためである。
• 構造からモーション（SfM）法やニューラルインクリメント法が屈折界面によって単一視点仮定が破壊される状況で失敗するのを克服する手法を開発すること。
• レジンやガラスなどの透明な封入容器に保存された繊細な博物館標本（昆虫や組織など）を高品質に3D再構成することを可能にすること。
• 空気とガラスの複数の媒体間での光の相互作用を、反射と屈折の両方を考慮した物理ベースのレンダリング戦略を用いて明示的にモデル化すること。
• 新しく収集した実世界のデータセットと合成ベンチマークの両方で、手法の有効性を評価すること。

提案手法

• 手法はシーンを2つのサブスペースに分割する：透明な容器内部の内部空間と、周囲の空気の外部空間で、それぞれ別々にモデリングする。
• 内部サブスペース内の幾何と外観を符号化するために、ベースとなるニューラルインクリメント表現としてNeuSを用いる。
• 新規のハイブリッドレンダリング戦略により、内部オブジェクトにはボリュームレンダリングを、ガラス-空気界面を通過する光路にはレイトレーシングを組み合わせ、複数回の反射・屈折を模擬する。
• 実画像とレンダリング画像の間の光度誤差を最小化することで、幾何と外観を最適化し、偽の境界を抑えるために透過率に基づくスパarsity事前知識を導入する。
• 透明な容器の幾何とポーズは既知であると仮定し、背景の照明は一様かつ環境光と仮定することで問題を単純化する。
• マルチビュー画像を用いてエンドツーエンドで学習し、学習されたニューラルインクリメント関数から最終的な3Dメッシュを再構成する。

実験結果

リサーチクエスチョン

• RQ1 複数回の反射・屈折によって画像が歪む状況下でも、ニューラルインクリメント法が透明な容器内部の物体の3D幾何を正確に再構成できるか？
• RQ2 内部空間と外部空間を明示的に分離してモデリングすることで、全体を1つの媒体として扱う手法と比較して、再構成品質がどの程度向上するか？
• RQ3 ボリュームレンダリングとレイトレーシングを組み合わせたハイブリッドレンダリング戦略が、単一パスまたは単一媒体の仮定に比べて、複雑な光の相互作用をどのように効果的に処理できるか？
• RQ4 複数回の反射・屈折を明示的にモデル化することで、薄い翼や触角といった微細な幾何的詳細の再構成がどの程度改善されるか？
• RQ5 実世界の設定において、容器の幾何が正確に分かっていない、あるいは一様な照明の仮定が満たされていない状況でも、この手法はどの程度頑健か？

主な発見

• 合成データセットでは、ReNeuSはチェンバーライ1損失が16.80に達し、NeuS (+) の22.07 や Ours (w/o Trans Loss) の19.08 より顕著に優れている。
• 実データセットでは、ReNeuSは昆虫の翼や触角といった微細な詳細を正常に再構成できるが、IDR はボックスマスクの凸包を超えて何ら再構成できない。
• アブレーションスタディの結果、完全なReNeuSモデルはメッシュ回復において失敗ケースがゼロであったのに対し、透過率損失を除いたバージョンでは2件、NeuS+ では3件の失敗が確認された。
• ハイブリッドレンダリング戦略は、誤った光路モデリングによって生じる偽の境界を効果的に抑制しており、NeuS+ が一貫性のある内部メッシュを生成できなかった失敗事例からも明らかである。
• 容器がないデータ（つまり、w/o box）に対しても、ReNeuS はNeuSを上回る性能を示しており、反射に起因する仮想ビューが再構成の頑健性を向上させることを示唆している。
• 透過率に基づくスパarsity事前知識は、特にコーナーやエッジのような複雑な領域で、誤ったフラグメントの数を顕著に削減している。