[논문 리뷰] 3D Representation Methods: A Survey

Zhengren Wang|arXiv (Cornell University)|2024. 10. 09.

3D Surveying and Cultural Heritage인용 수 5

한 줄 요약

이 논문은 주요 3D 표현 방법들(voxel grids, point clouds, meshes, SDFs, NeRFs, 3D Gaussian splatting, Tri-plane, DMTet)의 개발, 강점, 한계와 핵심 데이터셋을 조사하고 향후 연구 방향을 제시한다.

ABSTRACT

The field of 3D representation has experienced significant advancements, driven by the increasing demand for high-fidelity 3D models in various applications such as computer graphics, virtual reality, and autonomous systems. This review examines the development and current state of 3D representation methods, highlighting their research trajectories, innovations, strength and weakness. Key techniques such as Voxel Grid, Point Cloud, Mesh, Signed Distance Function (SDF), Neural Radiance Field (NeRF), 3D Gaussian Splatting, Tri-Plane, and Deep Marching Tetrahedra (DMTet) are reviewed. The review also introduces essential datasets that have been pivotal in advancing the field, highlighting their characteristics and impact on research progress. Finally, we explore potential research directions that hold promise for further expanding the capabilities and applications of 3D representation methods.

연구 동기 및 목표

• 기하학적 방법에서 신경망 기반 및 하이브리드 접근 방식으로의 3D 표현 방법의 진화를 조사한다.
• 주요 기법들(voxel, point cloud, mesh, SDF, NeRF, 3D Gaussian splatting, Tri-plane, DMTet)과 그 트레이드오프를 요약한다.
• 영향력 있는 데이터셋을 소개하고 진전에 대한 영향을 분석한다.
• 향후 연구를 위한 유망한 방향과 해결 과제를 규명한다.

제안 방법

• voxel grids, point clouds, meshes, SDFs, NeRFs, 3D Gaussian splatting, Tri-plane, and DMTet를 포함한 주요 3D 표현 기법을 검토하고 종합한다.
• 여러 표현을 결합한 하이브리드 접근 방식(예: DMTet, Tri-plane, 3D Gaussian Splatting)을 논의한다.
• 재구성, 렌더링, 그리고 장면 이해와 같은 과제들에서 발전을 가능하게 하는 영향력 있는 데이터셋과 그 역할을 강조한다.
• 향후 연구를 위한 신흥 연구 방향과 실용적 고려사항을 개요한다.

실험 결과

연구 질문

• RQ1 현재 사용 중인 주요 3D 표현 기법과 각각의 강점과 약점은 무엇인가?
• RQ2 데이터셋이 3D 표현 방법 전반의 진전에 어떻게 영향을 미쳤는가?
• RQ3 3D 표현의 현재 추세와 향후 연구의 유망한 방향은 무엇인가?
• RQ4 하이브리드 방법이 서로 다른 표현을 결합하여 복잡한 시나리오를 어떻게 다루는가?

주요 결과

• 3D 표현은 명시 기하학(메시, CSGL)에서 부피 기반, 포인트 기반, 암시적(SDF), 및 신경 표현(NeRFs)으로 발전했다.
• 하이브리드 방법(DMTet, Tri-plane, 3D Gaussian Splatting 등)은 여러 접근의 강점을 활용하여 정확도와 효율성을 향상시킨다.
• Neural radiance fields and their successors는 뷰 합성 및 3D 재구성에서 상당한 진전을 이끌었으며, 효율성, 경계가 없는 장면, 그리고 현실 세계의 강인성을 다루기 위한 지속적인 연구가 진행 중이다.
• ShapeNet, ModelNet, ScanNet, Pix3D, 3DPW, Objaverse와 같은 영향력 있는 데이터셋의 광범위한 생태계가 분류, 재구성, 장면 이해와 같은 과제들에서의 진전을 뒷받침해 왔다.
• Emerging directions include real-time rendering (3D Gaussian splatting), scene-level generative models, and controllable/accurate representations for dynamic and articulated scenes.