[논문 리뷰] RenderDiffusion: Image Diffusion for 3D Reconstruction, Inpainting and Generation

Titas Anciukevičius, Zexiang Xu외 5명|arXiv (Cornell University)|2022. 11. 17.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

RenderDiffusion는 단일 2D 이미지만을 사용하여 훈련된 최초의 3D 인식 디퓨전 모델을 소개한다. 이 모델은 잠재적 트리플레인 표현과 가시성 렌더링을 통한 3D 일致성 강화를 위한 노이즈 제거 아키텍처를 사용한다. 이는 3D 재구성, 3D 인식 인painting, 무조건적 3D 생성을 가능하게 하며, ShapeNet, CLEVR, FFHQ, AFHQ에서 경쟁적인 성능을 보이며, 명시적 3D 감독 없이도 단일 시점 3D 재구성 분야에서 최고 성능을 달성한다.

ABSTRACT

Diffusion models currently achieve state-of-the-art performance for both conditional and unconditional image generation. However, so far, image diffusion models do not support tasks required for 3D understanding, such as view-consistent 3D generation or single-view object reconstruction. In this paper, we present RenderDiffusion, the first diffusion model for 3D generation and inference, trained using only monocular 2D supervision. Central to our method is a novel image denoising architecture that generates and renders an intermediate three-dimensional representation of a scene in each denoising step. This enforces a strong inductive structure within the diffusion process, providing a 3D consistent representation while only requiring 2D supervision. The resulting 3D representation can be rendered from any view. We evaluate RenderDiffusion on FFHQ, AFHQ, ShapeNet and CLEVR datasets, showing competitive performance for generation of 3D scenes and inference of 3D scenes from 2D images. Additionally, our diffusion-based approach allows us to use 2D inpainting to edit 3D scenes.

연구 동기 및 목표

• 2D 이미지에만 훈련된 디퓨전 모델을 사용하여 명시적 3D 감독 없이도 3D 생성과 추론을 가능하게 하기.
• 노이즈 제거 과정에 잠재적 3D 표현을 통합하여 이미지 디퓨전 모델의 3D 일치성 문제를 해결하기.
• 2D 이미지 수준의 감독만으로 3D 인식 편집 작업(예: 인painting 및 객체 삽입)을 지원하기.
• 예측 정확도, 다양성, 시점 일致성 확보를 위해 높은 품질의 3D 시나리오 생성을 동시에 달성하면서도 날카운 이미지 품질과 효율적인 메모리 사용을 유도하기.
• 트리플레인 기반 3D 인덕티브 바이어스를 통해 2D 노이즈 제거 과정에서 3D 일치성이 암묵적으로 학습될 수 있음을 입증하기.

제안 방법

• 모델은 2D 노이즈 이미지를 처리하는 노이즈 제거 U-Net을 사용하며, 3D 기하학 및 외관을 모델링하기 위해 잠재적 트리플레인 표현을 통합한다.
• 트리플레인 인코더는 노이즈가 있는 2D 이미지를 3D 인식 잠재 표현으로 변환한 후, 가시성 렌더링을 통해 2D 이미지로 렌더링한다.
• 노이즈 제거 과정은 노이즈가 있는 입력에서 깔끔한 2D 이미지를 재구성하도록 훈련되며, 3D 표현이 모든 시점에서 일관된 3D 구조를 보장한다.
• 이 방법은 3D 표현을 통해 기울기 역전파를 가능하게 하는 가시성 렌더러를 활용하여 2D 감독에서부터 종단 간 훈련이 가능하도록 한다.
• 모델은 훈련 시 카메라 내부 및 외부 파rameter에 액세스할 수 있다고 가정하며, 이를 통해 트리플레인 표현을 글로벌 3D 좌표계에 정렬한다.
• 3D 인식 인painting을 위해, 모델은 알려진 이미지 영역에 조건을 두고 마스킹된 영역을 샘플링하여 타당한 3D 일치 완성도를 생성한다.

실험 결과

연구 질문

• RQ1 2D 이미지에만 훈련된 디퓨전 모델이 명시적 3D 감독 없이도 3D 일치하는 시나리오를 생성할 수 있는가?
• RQ2 가시성 렌더링을 통한 잠재적 트리플레인 표현은 이미지 노이즈 제거 과정에서 3D 일치성을 얼마나 효과적으로 강화하는가?
• RQ3 2D 디퓨전 모델은 3D 감독 모델에 비해 경쟁적인 정확도로 단일 시점 3D 재구성을 수행할 수 있는가?
• RQ4 2D 이미지 인painting은 3D 인식 디퓨전 모델을 활용해 3D 일치 완성으로 확장될 수 있는가?
• RQ5 트리플레인 렌더링에서 유도되는 3D 인덕티브 바이어스는 2D 단독 디퓨전 모델 대비 3D 생성의 일반화 및 다양성 향상에 기여하는가?

주요 결과

• RenderDiffusion는 경쟁적인 단일 시점 3D 재구성 성능을 달성하였으며, ShapeNet의 세 클래스 중 두 개에서 EG3D를 능가하는 데이터 커버리지 성능을 보였다.
• 모델은 단일 2D 이미지에서 다양하고 현실적인 3D 시나리오를 생성하며, 다양한 시점에서 일관된 기하학적 구조와 타당한 그림자 효과를 보였다.
• 이 모델을 사용한 3D 인식 인painting은 이 Task에 대해 별도 훈련 없이도 다양하고 타당한 마스킹 영역 완성도를 생성하였다.
• FFHQ 및 AFHQ에서 모델은 3D 일치성과 시점 제어가 가능한 이미지를 생성하였지만, 큰 애자이머 각도에서 일부 아티팩트가 나타났다.
• 단일 시점 3D 재구성에 대해 2D 감독만으로 훈련된 최고 수준의 기존 방법보다 재구성 정확도가 향상되었다.
• 모델은 트리플레인 기반 3D 인덕티브 바이어스를 통해 2D 노이즈 제거 과정에서 3D 일치성이 암묵적으로 학습될 수 있음을 입증하였으며, 이는 2D 데이터에서 3D 인식 생성 및 편집을 가능하게 한다.