[논문 리뷰] 3D-aware Image Generation using 2D Diffusion Models

Jianfeng Xiang, Jiaolong Yang외 2명|arXiv (Cornell University)|2023. 03. 31.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 2D 확산 모델을 활용하여 다중시점 이미지 생성을 순차적인 무조건적-조건부 샘플링 과정으로 공식화함으로써, 3D에 인지하는 새로운 이미지 생성 방법을 제안한다. 이는 단안 심도 추정과 데이터 증강을 사용하여 정렬되지 않은, 실제 생김새의 이미지에서 고해상도의 360° 일致하는 시점들을 생성함으로써 ImageNet에서 최고 성능을 달성한다.

ABSTRACT

In this paper, we introduce a novel 3D-aware image generation method that leverages 2D diffusion models. We formulate the 3D-aware image generation task as multiview 2D image set generation, and further to a sequential unconditional-conditional multiview image generation process. This allows us to utilize 2D diffusion models to boost the generative modeling power of the method. Additionally, we incorporate depth information from monocular depth estimators to construct the training data for the conditional diffusion model using only still images. We train our method on a large-scale dataset, i.e., ImageNet, which is not addressed by previous methods. It produces high-quality images that significantly outperform prior methods. Furthermore, our approach showcases its capability to generate instances with large view angles, even though the training images are diverse and unaligned, gathered from "in-the-wild" real-world environments.

연구 동기 및 목표

• 2D 확산 모델의 강력한 능력을 활용하여 3D에 인지하는 이미지 생성을 가능하게 하되, 이는 이전에 3D 생성 작업에 효과적으로 적용되지 않았다.
• 3D 감독 없이도 정렬되지 않은, 실제 생김새의 2D 데이터셋에서 일致하는 다중시점 이미지를 생성하는 도전 과제를 해결한다.
• 다중시점 학습 데이터의 부족을 보완하기 위해 단안 심도 추정을 활용하여 정적 이미지에서 다중시점 감독을 시뮬레이션한다.
• 학습과 추론 간 도메인 갭을 줄이기 위한 데이터 증강 전략을 통해 큰 시점 각도(최대 360°)에서도 생성 품질을 향상시킨다.
• 이전 방법들이 다루지 못한 대규모이고 다양한 데이터셋인 ImageNet에서 3D에 인지하는 생성의 가능성과 효율성을 입증한다.

제안 방법

• 이 방법은 3D에 인지하는 이미지 생성을 순차적인 다중시점 이미지 생성으로 공식화한다: 처음에는 무조건적으로 초기 시점을 샘플링하고, 이후에는 이전에 생성된 시점을 조건으로 하여 점진적으로 후속 시점을 생성한다.
• 다중 시점의 공동 분포를 인수하기 위해 확률의 연쇄 법칙을 사용하여 변수 길이의 출력과 효율적인 자동회귀 생성을 가능하게 한다.
• 단일 이미지에 대해 단안 심도 추정을 적용하여 심도 맵을 생성하고, 이를 바탕으로 학습을 위해 다중 시점 투영을 시뮬레이션한다.
• 이후 각 시점을 이전 시점들과 그에 해당하는 심도 맵을 조건으로 하여 조건부 확산 모델을 학습함으로써, 시점 간 일관된 3D 기하학을 달성한다.
• 학습과 추론 간 도메인 갭을 줄이고 일반화 성능을 향상시키기 위해 블러 및 텍스처 침식 증강 전략을 도입한다. 특히 큰 시점 각도에서의 생성 성능 향상에 효과적이다.
• 고해상도 생성을 위해 사전 학습된 128² 모델에서 미세조정된 확산 기반 초해상도 모델을 사용하여 128² 출력을 256² 해상도로 업스케일링한다.

실험 결과

연구 질문

• RQ1 명시적인 3D 감독이나 NeRF 기반 표현 없이 2D 확산 모델을 3D에 인지하는 이미지 생성에 효과적으로 적응시킬 수 있는가?
• RQ2 확산 모델을 사용하여 다중시점 이미지 생성을 순차적인 조건부 생성 과정으로 모델링할 수 있는가?
• RQ3 단안 심도 추정을 사용하여 정렬되지 않은, 실제 생김새의 2D 이미지에서 충분한 다중시점 학습 데이터를 시뮬레이션하여 3D에 인지하는 생성을 가능하게 할 수 있는가?
• RQ4 도메인 갭을 줄이고 큰 시점 각도에서의 성능을 향상시키는 데 가장 효과적인 데이터 증강 전략은 무엇인가?
• RQ5 이 방법은 이전의 3D에 인지하는 GAN 기반 방법들이 다루지 못한 대규모이고 다양한 데이터셋인 ImageNet에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ImageNet에서 Fréchet Inception Distance (FID) 9.45를 달성하여, 이전의 SOTA 3D에 인지하는 GAN인 EG3D(FID 40.4)와 pi-GAN(FID 138)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• SDIP Dog 데이터셋에서 9개의 시점(17° 요르 각도 범위)에 대해 FID 18.1을 기록하였으며, 침식 증강 없이(20.9) 또는 블러 증강 없이(22.2)의 아블레이션 버전보다 성능이 뛰어났다.
• 정렬되지 않은 학습 데이터에서 일관된 360° 시점 순서를 성공적으로 생성하여 다양한 입력에 대한 강건성을 입증했다.
• 융합 기반의 시점 합성 방법은 16 fps의 추론 속도를 달성하였고, ImageNet에서 낮은 FID(14.1)를 유지하여 임의의 시점 생성에 실용적인 적용 가능성을 보였다.
• 고해상도 생성 파이프라인은 미세조정된 확산 초해상도 모델을 사용하여 128² 출력을 256²로 성공적으로 업스케일링하였으며, 이미지 품질과 3D 일관성을 유지했다.
• 아블레이션 연구를 통해 텍스처 침식과 블러 증강이 큰 시점 각도 합성에서 잡음과 아티팩트를 줄이고 성능을 향상시키는 데 핵심적인 역할을 한다는 점을 확인했다.