[논문 리뷰] Deep Generative Models on 3D Representations: A Survey

Zifan Shi, Sida Peng외 4명|arXiv (Cornell University)|2022. 10. 27.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 종합적 서베이는 3D 데이터를 위한 딥 생성 모델에 대해 포괄적인 개요를 제공하며, 포인트 클라우드, 메쉬, 볼륨, 신경 필드와 같은 다양한 3D 표현 방식이 VAE, GAN, 확산 모델과 같은 생성 모델과 어떻게 상호작용하는지 분석한다. 2D 및 3D 감독 파рад림을 평가하고, 형태 편집, 재구성, 표현 학습 분야의 핵심 응용을 강조하며, 향후 연구를 위한 유니버설리티, 제어 가능성, 효율성, 학습 안정성 등의 주요 과제를 규명한다.

ABSTRACT

Generative models aim to learn the distribution of observed data by generating new instances. With the advent of neural networks, deep generative models, including variational autoencoders (VAEs), generative adversarial networks (GANs), and diffusion models (DMs), have progressed remarkably in synthesizing 2D images. Recently, researchers started to shift focus from 2D to 3D space, considering that 3D data is more closely aligned with our physical world and holds immense practical potential. However, unlike 2D images, which possess an inherent and efficient representation ( extit{i.e.}, a pixel grid), representing 3D data poses significantly greater challenges. Ideally, a robust 3D representation should be capable of accurately modeling complex shapes and appearances while being highly efficient in handling high-resolution data with high processing speeds and low memory requirements. Regrettably, existing 3D representations, such as point clouds, meshes, and neural fields, often fail to satisfy all of these requirements simultaneously. In this survey, we thoroughly review the ongoing developments of 3D generative models, including methods that employ 2D and 3D supervision. Our analysis centers on generative models, with a particular focus on the representations utilized in this context. We believe our survey will help the community to track the field's evolution and to spark innovative ideas to propel progress towards solving this challenging task.

연구 동기 및 목표

• 이 분야에서 아직 포괄적인 서베이가 부족한 상황를 감안해, 3D 데이터에 적용된 딥 생성 모델에 대한 체계적인 리뷰를 제공하는 것.
• 포인트 클라우드, 메쉬, 볼륨, 신경 필드와 같은 다양한 3D 표현 방식이 생성 모델과 함께 사용될 때 발생하는 상호 교환 및 제약 조건을 분석하는 것.
• 다양한 감독 방식(다양화 가능한 렌더링 기반 2D 감독 및 3D 감독) 하에서 3D 생성 모델의 성능과 아키텍처 설계 선택 사항을 평가하는 것.
• 3D 생성 분야에서의 핵심 과제인 유니버설리티, 제어 가능성, 추론 효율성, 학습 안정성 등을 규명하는 것.
• 현재의 진전을 종합하고 향후 연구 방향을 제시함으로써 연구자 및 실무자들을 안내하는 것.

제안 방법

• 이 서베이는 생성 모델의 기반 아키텍처(예: VAE, GAN, 확산 모델)와 3D 표현 방식(예: 포인트 클라우드, 볼륨 그리드, 신경 필드)을 기반으로 3D 생성 모델을 체계적으로 분류하고 분석한다.
• 다양화 가능한 렌더링 기반 2D 감독과 3D 감독을 모두 평가하여, 형태 생성 및 재구성에서의 효과성을 비교한다.
• 부분 관측 또는 단일 뷰 이미지로부터 3D 재구성을 위한 자동 디코더 프레임워크와 모델 역전환 기법을 검토한다.
• 2D 감독을 통한 3D 인식 기반 이미지 생성 모델의 활용을 통해, 예를 들어 2D 감독 기반으로 범주 수준의 오브제 자세 추정과 같은 역문제를 해결하는 방법을 논의한다.
• 포인트 클라우드와 볼륨 그리드에서의 분류 및 의미적 세그멘테이션 등의 후행 작업을 위한 표현 학습 능력을 평가한다.
• 다양한 벤치마크 및 데이터셋(예: ShapeNet, FFHQ)을 종합하여, 모델의 일반화 능력과 카테고리 간 성능을 평가한다.

실험 결과

연구 질문

• RQ1 포인트 클라우드, 메쉬, 볼륨, 신경 필드와 같은 다양한 3D 표현 방식이 딥 생성 모델의 성능과 학습 동역학에 어떤 영향을 미치는가?
• RQ2 다양화 가능한 렌더링 기반 2D 감독과 3D 감독 간의 상대적 장점과 한계는 무엇인가?
• RQ3 텍스트, 스케치, 물리적 성질 등을 통한 제어 가능한 생성이 3D 생성 모델을 통해 어느 정도 가능해질 수 있는가?
• RQ4 현재 3D 생성 모델의 학습 안정성, 추론 효율성, 확장성에 있어 주요 블로킹 요소는 무엇인가?
• RQ5 다양한 오브제 카테고리와 동적 시나리오에 걸쳐 보편적인 생성을 지원하기 위해 3D 생성 모델을 어떻게 확장할 수 있는가?

주요 결과

• 신경 필드와 암시적 표현 기반 3D 생성 모델은 고해상도 형태 생성 잠재력을 보이지만, 학습 효율성과 메모리 사용 측면에서 도전 과제를 안고 있다.
• 다양화 가능한 렌더링 기반 2D 감독을 사용하는 방법들은 단일 뷰 3D 재구성 및 자세 추정을 가능하게 하며, 분석-통합 파라다임과 일치한다.
• 자동 디코더 프레임워크를 활용한 모델 역전환 기법은 잠재 코드 최적화를 통해 부분 관측 또는 일부 관측에서 완전한 3D 형태를 재구성할 수 있도록 한다.
• 진전이 있었음에도 불구하고, 대부분의 3D 생성 모델은 ShapeNet, FFHQ와 같은 오브제 수준의 데이터셋에 국한되어 있으며, 다양한 카테고리 간 보편성에 빈도가 떨어진다.
• 3D 생성 모델의 학습은 일반적으로 고성능 GPU 여러 대를 사용해 3~10일이 걸리며, 학습 및 추론 모두에서 상당한 비효율성이 드러난다.
• 모드 붕괴와 실제 이미지 분포와 물리적 요소(예: 카메라 자세) 간의 분포 불일치는 학습 안정성에 있어 여전히 주요 과제로 남아 있다.