[論文レビュー] Hybrid Mesh-neural Representation for 3D Transparent Object Reconstruction

Jiamin Xu, Zihan Zhu+2 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Vision and Imaging被引用数 14

ひとこと要約

本論文は、自然光下のハンドヘルドカメラ画像から3D透過物体を再構築するため、明示的なベースメッシュと表面に基づく局所MLPを組み合わせたハイブリッドメッシュニューラル表現を提案する。シルエットから導出されたメッシュ上に局所的MLPを用いて頂点変位場（VDF）を符号化することで、厳密なレイピクセル対応を緩和した微分可能レンダリングを実現し、簡素化されたキャプチャ設定で高精度な再構築を達成した。最新の手法よりも優れた結果を示した。

ABSTRACT

We propose a novel method to reconstruct the 3D shapes of transparent objects using hand-held captured images under natural light conditions. It combines the advantage of explicit mesh and multi-layer perceptron (MLP) network, a hybrid representation, to simplify the capture setting used in recent contributions. After obtaining an initial shape through the multi-view silhouettes, we introduce surface-based local MLPs to encode the vertex displacement field (VDF) for the reconstruction of surface details. The design of local MLPs allows to represent the VDF in a piece-wise manner using two layer MLP networks, which is beneficial to the optimization algorithm. Defining local MLPs on the surface instead of the volume also reduces the searching space. Such a hybrid representation enables us to relax the ray-pixel correspondences that represent the light path constraint to our designed ray-cell correspondences, which significantly simplifies the implementation of single-image based environment matting algorithm. We evaluate our representation and reconstruction algorithm on several transparent objects with ground truth models. Our experiments show that our method can produce high-quality reconstruction results superior to state-of-the-art methods using a simplified data acquisition setup.

研究の動機と目的

• 屈折や反射による複雑な光路が従来の手法を困難にする自然光下における透過物体の3D再構築の課題に対処すること。
• ターンテーブルやキャリブレートされた背景パターンなどの制御されたキャプチャ環境への依存を低減し、低コストでハンドヘルドでの取得を可能にすること。
• 明示的なメッシュ幾何と細かな表面ディテールのニューラル表現を組み合わせることで再構築品質を向上させること。
• レイセル対応を導入することで、厳密なレイピクセル対応制約を緩和し、環境マットイングと最適化を簡素化すること。
• ボリュメトリック表現ではなくメッシュクラスタ上の局所MLPを用いることで最適化を高速化し、耐障害性を向上させること。

提案手法

• 本手法は、神経レンダラを省いたIDRを用いたシルエット損失のみを用いたマルチビューのシルエットベース初期メッシュ再構築から始める。
• 初期メッシュは簡略化され、正規化された後、クラスタに分割され、各クラスタに局所的な2層MLPが割り当てられ、局所的頂点変位場（VDF）を表現する。
• 頂点の変位は、隣接する局所MLPの出力の融合により計算され、勾配伝搬によってグローバルな滑らかさ制約が実現される。
• レイピクセル対応を緩和するため、動的背景パターン上の色付きセルへのレイマッチングを導入した新規なレイセル対応を提案する。これによりキャプチャの複雑さが大幅に軽減される。
• 微分可能なパス追跡レンダリングを用いてVDFを最適化し、画像の光度的一致性と環境マットイング結果に基づく損失を用いる。
• 融合モジュールにより、隣接する局所MLP間で勾配情報が分散され、グローバルな一貫性を維持しながら効率的で局所的な最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 純粋にニューラルまたはメッシュベースの手法と比較して、ハイブリッドメッシュニューラル表現は自然光下における透過物体の3D再構築品質を向上させることができるか？
• RQ2 再構築忠実度を劣化させることなく、レイピクセル対応制約をどの程度緩和できるか？
• RQ3 ボリュメトリックMLPと比較して、メッシュ表面に局所MLPを用いることで最適化速度とディテール回復の両面で優位性を示せるか？
• RQ4 レイセル対応を用いることで、自然光下における単一画像環境マットイングアルゴリズムを安定して実装できるか？
• RQ5 ベースメッシュと局所MLPの融合は、グローバルな形状の一貫性を保ちつつ、微細ディテールの再構築を可能にするか？

主な発見

• 提案手法は、自然光下における微細な表面ディテールの捉え方を含め、最新の手法と比較して優れた再構築品質を達成した。
• VDF表現として局所的表面ベースMLPを用いることで、ボリュメトリックMLPと比較して最適化が高速化され、ディテール回復性能も向上した。
• レイピクセル対応からレイセル対応への緩和は、ターンテーブルや固定背景パターンを必要としないハンドヘルドカメラ撮影を可能にするなど、キャプチャ設定を著しく簡素化した。
• レイセル対応に基づく単一画像環境マットイングアルゴリズムは、自然光下でも安定した結果を生み出し、自然画像からの光路推定を正確に可能にした。
• 融合モジュールは、隣接する局所MLP間で勾配情報を効果的に伝搬させ、グローバルな滑らかさを維持するとともに、局所的なアーチファクトの発生を防いだ。
• 真値モデルを用いた評価により、本手法が定量的指標および視覚的忠実度の両面で、既存の手法を上回ることが確認された。