[论文解读] Learning Deformable Tetrahedral Meshes for 3D Reconstruction

Jun Gao, Wenzheng Chen+5 more|arXiv (Cornell University)|Nov 3, 2020

3D Shape Modeling and Analysis参考文献 55被引用 49

一句话总结

DefTet 引入一种可变形四面体网格表示用于3D重建，能够联合优化顶点位置与四面体占用，以直接从点云或单幅图像生成高保真、拓扑上灵活的四面体网格。它在内存更低、推理更快的情况下达到与先前体素和基于网格的方法相当或更高的质量。

ABSTRACT

3D shape representations that accommodate learning-based 3D reconstruction are an open problem in machine learning and computer graphics. Previous work on neural 3D reconstruction demonstrated benefits, but also limitations, of point cloud, voxel, surface mesh, and implicit function representations. We introduce Deformable Tetrahedral Meshes (DefTet) as a particular parameterization that utilizes volumetric tetrahedral meshes for the reconstruction problem. Unlike existing volumetric approaches, DefTet optimizes for both vertex placement and occupancy, and is differentiable with respect to standard 3D reconstruction loss functions. It is thus simultaneously high-precision, volumetric, and amenable to learning-based neural architectures. We show that it can represent arbitrary, complex topology, is both memory and computationally efficient, and can produce high-fidelity reconstructions with a significantly smaller grid size than alternative volumetric approaches. The predicted surfaces are also inherently defined as tetrahedral meshes, thus do not require post-processing. We demonstrate that DefTet matches or exceeds both the quality of the previous best approaches and the performance of the fastest ones. Our approach obtains high-quality tetrahedral meshes computed directly from noisy point clouds, and is the first to showcase high-quality 3D tet-mesh results using only a single image as input. Our project webpage: https://nv-tlabs.github.io/DefTet/

研究动机与目标

• 以支持任意拓扑和内部体积的表示来推动基于学习的3D重建。
• 提出 Deformable Tetrahedral Meshes (DefTet)，在可微分框架中联合优化顶点位置和四面体占用。
• 展示 DefTet 在点云、单幅图像、四面体网格基准以及新视图合成中的有效性。
• 展示 DefTet 能直接生成四面体网格（无需后处理），且在内存/计算方面比传统体素体积更高效地进行扩展。

提出的方法

• 使用 QuarTet 定义单位立方体的固定初始四面体化。
• 预测每个顶点的偏移和每个四面体的占用以变形网格并将内部/外部区域进行分类。
• 从相邻四面体的占用计算每个面的表面概率（Eq. 2）。
• 使用可微分损失进行训练，耦合占用、变形和表面对齐（recon3D、recon2D、laplacian、equi-volume、AMIPS 等）。
• 在仅有图像可用时，使用可微分渲染器将 DefTet 投影到 2D（通过重心插值实现的柔性 z-缓冲式可见性和颜色）。
• 可选地进行 3D 或 2D 监督（3D 的占用 BCE；2D 的 L1 图像损失）。
• 通过对四面体占用进行阈值化并从共享面提取表面网格进行推断。

实验结果

研究问题

• RQ1 一个具有可变形和占用感知的四面体网格能否比体素网格或固定拓扑网格更高效地表示具有任意拓扑和高几何细节的对象？
• RQ2 是否有可能直接从嘈杂的点云或单幅图像中端到端学习 Def Tet 表示而无需繁重的后处理？
• RQ3 在 3D 监督、2D 监督和可微分渲染设置下，DefTet 在重建质量和速度方面的表现如何？
• RQ4 联合变形和占用优化对下游任务（如网格化、新视图合成和多视图重建）有哪些好处？

主要发现

• DefTet 能表示任意拓扑，并在比等效体积方法更小的网格规模下产生高保真重建。
• DefTet 直接以四面体网格的形式产生表面，推断过程中避免后处理。
• DefTet 的质量与或超过先前最优方法，同时推断更快，例如显著快于 Occupancy Networks。
• DefTet 展示了从嘈杂点云获得高质量的四面体网格，并在单图像3D重建中首次使用四面体网格取得突破。
• 在多视图和新视图情景中，DefTet 收敛速度快于 Nerf 基方法，同时为下游任务（如基于物理的仿真）提供可用几何信息。
• 在点云和图像输入之间，DefTet 展示了具有竞争力的 3D IoU 和 Chamfer 基准指标，同时比高分辨率体素网格显著降低内存占用。