[論文レビュー] Learning Deformable Tetrahedral Meshes for 3D Reconstruction

Jun Gao, Wenzheng Chen+5 more|arXiv (Cornell University)|Nov 3, 2020

3D Shape Modeling and Analysis参考文献 55被引用数 49

ひとこと要約

DefTet は、変形可能な四面体メッシュ表現を用いた3D再構成を導入し、頂点位置と四面体占有率の同時最適化を可能にして、点群や単一画像から直接高忠実度でトポロジーに柔軟な四面体メッシュを生成します。これにより、従来のボクセル系およびメッシュベース手法と比較して、同等またはそれ以上の品質を、より少ないメモリと高速推論で実現します。

ABSTRACT

3D shape representations that accommodate learning-based 3D reconstruction are an open problem in machine learning and computer graphics. Previous work on neural 3D reconstruction demonstrated benefits, but also limitations, of point cloud, voxel, surface mesh, and implicit function representations. We introduce Deformable Tetrahedral Meshes (DefTet) as a particular parameterization that utilizes volumetric tetrahedral meshes for the reconstruction problem. Unlike existing volumetric approaches, DefTet optimizes for both vertex placement and occupancy, and is differentiable with respect to standard 3D reconstruction loss functions. It is thus simultaneously high-precision, volumetric, and amenable to learning-based neural architectures. We show that it can represent arbitrary, complex topology, is both memory and computationally efficient, and can produce high-fidelity reconstructions with a significantly smaller grid size than alternative volumetric approaches. The predicted surfaces are also inherently defined as tetrahedral meshes, thus do not require post-processing. We demonstrate that DefTet matches or exceeds both the quality of the previous best approaches and the performance of the fastest ones. Our approach obtains high-quality tetrahedral meshes computed directly from noisy point clouds, and is the first to showcase high-quality 3D tet-mesh results using only a single image as input. Our project webpage: https://nv-tlabs.github.io/DefTet/

研究の動機と目的

• 任意のトポロジーと内部体積をサポートする表現を用いた学習ベースの3D再構成を動機づける。
• 微分可能な枠組みの中で頂点位置と四面体占有率を同時に最適化するDefTetを提案する。
• 点群、単一画像、四面体メッシュ作成のベンチマーク、および新規ビュー合成でDefTetの有効性を示す。
• DefTet が直接（後処理なし）四面体メッシュを生成でき、従来のボクセルベース体積よりもメモリと計算量をより効率的にスケールさせられることを示す。

提案手法

• 単位立方体の固定初期四面体分割をQuarTetを用いて定義する。
• メッシュを変形させ、内側/外側領域を分類するために各頂点のオフセットと各四面体の占有率を予測する。
• 隣接する四面体の占有率から各辺の表面確率を計算する（Eq. 2）。
• 占有率、変形、表面整合性を結ぶ微分可能損失（recon3D、recon2D、laplacian、equi-volume、AMIPS など）で学習する。
• 画像のみが利用可能な場合、DefTetを2D投影へ導く微分可能レンダラを使用する（ソフトz-buffer様の可視性とバリセントリック補間による色）。
• 任意に3D監督（3DのOccupancy BCE）、または2D監督（2DのL1画像損失）を任意で行う。
• 四面体占有率を閾値して推論し、共有された面から表面メッシュを抽出する。

実験結果

リサーチクエスチョン

• RQ1 変形可能で占有感知の四面体メッシュは、ボクセルグリッドや固定トポロジーのメッシュよりも任意のトポロジーと高い幾何学的詳細をより効率的に表現できるのか？
• RQ2 ノイズのある点群や単一画像から重い後処理なしでDefTet表現をエンドツーエンドに学習することは可能か？
• RQ3 3D監督、2D監督、微分可能レンダリング設定での再構成品質と速度に対してDefTetはどう機能するのか？
• RQ4 共同変形と占有最適化の利点は、メッシング、新規ビュー合成、複数視点再構成といった下流タスクにどのような利益をもたらすのか？

主な発見

• DefTet は任意のトポロジーを表現でき、同等のボリューム法よりも小さなグリッドサイズで高忠実度の再構成をもたらす。
• DefTet は推論時に後処理を回避し、表面を直接四面体メッシュとして生成する。
• DefTet は従来の最良手法と同等以上の品質を達成しつつ、推論を高速化する。例えば Occupancy Networks より著しく高速である。
• DefTet はノイズのある点群から高品質な四面体メッシュを示し、四面体メッシュを用いた単一画像3D再構成で初の成果を達成している。
• マルチビューおよび新規ビューの文脈では、Nerfベース手法よりも収束が速く、下流タスク（物理ベースのシミュレーションなど）のための実用的なジオメトリを提供する。
• 点群と画像の入力を横断して、DefTet は競合する3D IoUとChamferベースの指標を示し、ハイレゾリューションのボクセルグリッドよりはるかに少ないメモリフットプリントである。