[논문 리뷰] A Comprehensive Survey on 3D Content Generation

Jian Liu, Xiaoshui Huang외 9명|arXiv (Cornell University)|2024. 02. 02.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 종합 검토는 3D 콘텐츠 생성을 위한 새로운 분류 체계를 제안하며, 3D 네이티브, 2D 프리오르 기반, 하이브리드 접근 방식으로 방법을 분류한다. 60篇의 핵심 논문을 검토하고, 품질, 제어 가능성, 속도, 데이터 부족성 등의 핵심 과제를 밝히며, AIGC-3D를 위한 기초 모델과 향상된 벤치마크를 포함한 향후 방향성을 제시한다.

ABSTRACT

Recent years have witnessed remarkable advances in artificial intelligence generated content(AIGC), with diverse input modalities, e.g., text, image, video, audio and 3D. The 3D is the most close visual modality to real-world 3D environment and carries enormous knowledge. The 3D content generation shows both academic and practical values while also presenting formidable technical challenges. This review aims to consolidate developments within the burgeoning domain of 3D content generation. Specifically, a new taxonomy is proposed that categorizes existing approaches into three types: 3D native generative methods, 2D prior-based 3D generative methods, and hybrid 3D generative methods. The survey covers approximately 60 papers spanning the major techniques. Besides, we discuss limitations of current 3D content generation techniques, and point out open challenges as well as promising directions for future work. Accompanied with this survey, we have established a project website where the resources on 3D content generation research are provided. The project page is available at https://github.com/hitcslj/Awesome-AIGC-3D.

연구 동기 및 목표

• 3D 네이티브, 2D 프리오르 기반, 하이브리드 방법이라는 새로운 분류 체계를 통해 최근 3D 콘텐츠 생성 기술의 발전을 체계적으로 분류하기.
• 주요 3D 생성 기법 전반에 걸쳐 약 60편의 핵심 논문을 종합적으로 검토하기.
• 기하학적 품질, 텍스처 세부 사항, 제어 가능성, 추론 속도 등의 측면에서 현재 3D 생성 기술의 해결되지 않은 과제를 특정하기.
• 3D 생성을 위한 기초 모델과 향상된 자동 평가 벤치마크를 포함한 향후 연구 방향 제안하기.
• 연구 공동체가 AIGC-3D 관련 최신 자료를 확보할 수 있도록 공개 자료 웹사이트를 구축하여 지원하기.

제안 방법

• 3단계 분류 체계를 제안: 3D 네이티브 생성 방법, 2D 프리오르 기반 3D 생성 방법, 하이브리드 3D 생성 방법.
• 세 범주에 걸쳐 60편의 대표적 논문을 검토하며, 아키텍처, 학습 파라다임, 입력 모odalities에 중점을 둔다.
• 3D 표현 기법을 분석하며, 명시적 표현(점군, 메쉬, 볼륨)과 암시적 표현(NeRF, 가우시안 스플래터링, 부호 거리 함수)을 포함한다.
• 확산 기반 방법을 검토하며, NeRF 최적화를 위한 스코어 디스틸레이션 샘플링(SDS)과 다중 시점 확산 프리오르를 포함한다.
• 4D(동적) 콘텐츠 생성을 위한 새로운 파이프라인을 소개하고 논의하며, 정적에서 동적 콘텐츠로의 변환 및 영상에서 3D 재구성 기법을 포함한다.
• 기존 벤치마크를 평가하고 개선 사항을 제안하며, 인간 평가와 일치하는 자동 평가 도구와 기하학적·텍스처 적합성에 대한 통합 지표를 포함한다.

실험 결과

연구 질문

• RQ1 현재 기술적 환경을 반영할 수 있도록 3D 콘텐츠 생성 방법을 체계적으로 분류할 수 있는 방법은 무엇인가?
• RQ2 3D 네이티브, 2D 프리오르 기반, 하이브리드 3D 생성 접근 방식 간의 핵심 기술적 차이점과 상호 교환 관계는 무엇인가?
• RQ3 기하학적 품질, 텍스처 세부 사항, 제어 가능성, 추론 속도 측면에서 현재 3D 생성 기술의 주요 제한 요소는 무엇인가?
• RQ4 대규모이고 다양한 3D 데이터셋을 어떻게 수집하고 활용하여 비지도 및 자기지도 3D 생성 기술을 향상시킬 수 있는가?
• RQ5 기초 모델과 다중모odal LLM은 향후 AIGC-3D 시스템에서 프로그래밍 기반 3D 디자인과 고수준 제어를 가능하게 하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 이 검토에서는 2D 프리오르 기반 방법, 특히 사전 학습된 이미지 확산 모델을 활용한 방법이 3D 데이터 부족으로 인해 주로 우세해지고 있음을 밝혀냈다.
• 3D 네이티브 생성 방법은 직접적인 3D 생성 잠재력을 지니고 있음에도 불구하고, 대규모 3D 데이터셋의 가용성 부족으로 인해 도전 과제를 겪고 있다.
• one2345++ 및 4D-fy와 같은 하이브리드 방법은 2D 프리오르와 3D 확산 또는 가우시안 스플래터링 최적화를 융합함으로써 향상된 품질을 달성하고 있다.
• 현재 4D 생성 파이프라인, 예를 들어 4DGen과 DreamGaussian4d는 다중 시점 확산 프리오르를 활용하여 시간적 일관성과 기하학적 정확도를 향상시키고 있다.
• 진전이 있었음에도 불구하고, 고해상도이면서 컴act한 메쉬, 풍부한 텍스처, 정확한 재질 특성을 갖춘 콘텐츠 생성은 여전히 해결되지 않은 핵심 과제이다.
• 자동 평가는 여전히 미흡한 편이며, 인간 평가가 여전히 기준이지만, Wu 등(2024)이 개발한 인간 평가와 일치하는 평가 도구(Human-Aligned Evaluator)가 등장하고 있다.