[論文レビュー] Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes

Zhengqin Li, Yu-Ying Yeh+1 more|arXiv (Cornell University)|Apr 22, 2020

Advanced Vision and Imaging参考文献 54被引用数 10

ひとこと要約

本論文は、スマートフォンで撮影された5〜12枚の自由な自然画像から、透明物体の3次元再構成を物理ベースの深層学習フレームワークを用いて行う。屈折と反射の微分可能レンダリング、入力画像と環境マップからの法線マップを含む4次元空間における新しいコストボリューム、および3次元点群再構成のための法線ガイド付きPointNet++を統合することで、任意の環境マップ下でも高精細な幾何再構成を達成。公開コードおよびデータを提供。

ABSTRACT

Recovering the 3D shape of transparent objects using a small number of unconstrained natural images is an ill-posed problem. Complex light paths induced by refraction and reflection have prevented both traditional and deep multiview stereo from solving this challenge. We propose a physically-based network to recover 3D shape of transparent objects using a few images acquired with a mobile phone camera, under a known but arbitrary environment map. Our novel contributions include a normal representation that enables the network to model complex light transport through local computation, a rendering layer that models refractions and reflections, a cost volume specifically designed for normal refinement of transparent shapes and a feature mapping based on predicted normals for 3D point cloud reconstruction. We render a synthetic dataset to encourage the model to learn refractive light transport across different views. Our experiments show successful recovery of high-quality 3D geometry for complex transparent shapes using as few as 5-12 natural images. Code and data are publicly released.

研究の動機と目的

• 少数の自由な画像からの透明物体の3次元再構成という、不適切に定義された問題に取り組む。
• 透明素材における屈折と反射に起因する複雑な光輸送の課題を克服する。
• 画像形成の物理法則（スネルの法則、フレネル方程式）を活用したデータ駆動型手法を開発し、形状再構成を改善する。
• 制御された取得環境を必要とせず、任意の環境マップ下でスマートフォンで撮影された画像のみを用いて高品質な3次元再構成を実現する。
• 再現可能性および今後の研究を促進するため、大規模なフォトリッチな合成データセットと公開コードを提供する。

提案手法

• 屈折および反射の光路を2回までの散乱までモデル化する微分可能レンダリングレイヤーを導入。スネルの法則およびフレネル方程式を用いる。
• 入力画像と環境マップ、法線マップの間の4次元対応関係を扱う、新しいコストボリュームを提案。非局所的な外観変化にもかかわらず、対応関係学習を可能にする。
• 訓練済みデコーダーを用いて予測された法線を正則化する潜在空間最適化戦略を採用。自然な形状の多様体上に法線が位置することを保証。
• 表面法線、可視性マスク、レンダリング誤差を統合するカスタム特徴マッピングを備えた変更済みPointNet++アーキテクチャを用い、3次元点群を再構成。
• GPU加速レイトレーサーを用いて、多様な自然な環境マップ下でランダムな透明形状をレンダリングし、モデルの学習に用いる合成データセットを構築。
• 再構成中の特徴集約を向上させるために、レンダリング誤差と全内部反射検出に基づくビュー選択機構を適用。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、スマートフォンカメラで撮影された5〜12枚の自由な自然画像のみから、透明物体の3次元形状を効果的に再構成できるか？
• RQ2 屈折および反射の微分可能レンダリングを3次元再構成パイプラインに統合することで、再構成精度が向上するか？
• RQ3 透明素材を対象とした場合、入力画像、環境マップ、法線マップの4次元対応関係を扱えるコストボリュームを設計できるか？
• RQ4 物理的制約（スネルの法則、フレネル方程式）は、実世界の画像における一般化性および再構成品質をどの程度向上させるか？
• RQ5 潜在空間における法線最適化は、直接的なピxls単位最適化よりも、透明物体の正確な表面幾何を回復する上で優れているか？

主な発見

• 本手法は、スマートフォンカメラで撮影された5〜12枚の自然画像のみを用いて、複雑な透明形状の高品質な3次元幾何再構成に成功。
• 微分可能レンダリングレイヤーにより、屈折および反射の正確なモデル化が可能となり、法線予測および最終的な3次元再構成品質が顕著に向上。
• 法線の潜在空間最適化により、自然な形状多様体への強い正則化が得られ、ピxls単位最適化より高い再構成精度を達成。
• 提案されたコストボリュームは、透明素材における外観変化の非局所的性質にもかかわらず、入力ビューと環境マップ間の対応関係を効果的に捉える。
• 特徴マッピング段階でのレンダリング誤差に基づくビュー選択は、平均融合や最近傍ビュー選択を上回る3次元再構成精度を実現。
• 合成データおよび実世界データの両方で、定性的および定量的評価により、本モデルの実世界への一般化能が裏付けられ、公開コードおよびデータにより再現性が確保されている。