[论文解读] 3D Representation Methods: A Survey

Zhengren Wang|arXiv (Cornell University)|Oct 9, 2024

3D Surveying and Cultural Heritage被引用 5

一句话总结

本论文综述了主要三维表示方法的发展、优点与局限性（体素网格、点云、网格、SDF、NeRF、3D Gaussian splatting、Tri-plane、DMTet）以及关键数据集，并勾勒未来研究方向。

ABSTRACT

The field of 3D representation has experienced significant advancements, driven by the increasing demand for high-fidelity 3D models in various applications such as computer graphics, virtual reality, and autonomous systems. This review examines the development and current state of 3D representation methods, highlighting their research trajectories, innovations, strength and weakness. Key techniques such as Voxel Grid, Point Cloud, Mesh, Signed Distance Function (SDF), Neural Radiance Field (NeRF), 3D Gaussian Splatting, Tri-Plane, and Deep Marching Tetrahedra (DMTet) are reviewed. The review also introduces essential datasets that have been pivotal in advancing the field, highlighting their characteristics and impact on research progress. Finally, we explore potential research directions that hold promise for further expanding the capabilities and applications of 3D representation methods.

研究动机与目标

• 调查三维表示方法从几何到神经与混合方法的演变。
• 总结关键技术（体素、点云、网格、SDF、NeRF、3D Gaussian splatting、Tri-plane、DMTet）及其权衡。
• 介绍有影响力的数据集并分析它们对进展的影响。
• 识别未来工作中有前景的方向与未解决的挑战。

提出的方法

• 回顾并综合主要的三维表示技术，包括体素网格、点云、网格、SDF、NeRF、3D Gaussian splatting、Tri-plane、DMTet。
• 讨论将多种表示方法结合的混合方法（如 DMTet、Tri-plane、3D Gaussian Splatting）。
• 突出有影响力的数据集及其在实现重建、渲染和场景理解等任务中的作用。
• 概述未来研究的新兴方向和实际考虑因素。

实验结果

研究问题

• RQ1 目前使用的主要三维表示技术及其各自的优缺点是什么？
• RQ2 数据集如何影响三维表示方法的进展？
• RQ3 在三维表示领域当前的趋势和未来有前景的方向是什么？
• RQ4 混合方法如何结合不同表示来应对复杂场景？

主要发现

• 三维表示从显式几何（网格、CSGL）演变为体积、基于点的、隐式（SDF）和神经表示（NeRF）等方向。
• 混合方法（如 DMTet、Tri-plane、3D Gaussian Splatting）结合多种方法的优点，以提高保真度与效率。
• 神经辐射场及其后继在视图合成和三维重建方面取得显著进展，仍在解决效率、无限场景和现实世界鲁棒性等问题。
• 存在广泛的、有影响力的数据集生态系统（如 ShapeNet、ModelNet、ScanNet、Pix3D、3DPW、Objaverse），支撑了分类、重建和场景理解等任务的进展。
• 新兴方向包括实时渲染（3D Gaussian splatting）、场景级生成模型，以及用于动态和关节场景的可控/精确表示。