[논문 리뷰] ConsistNet: Enforcing 3D Consistency for Multi-view Images Diffusion

Jiayu Yang, Ziang Cheng외 3명|arXiv (Cornell University)|2023. 10. 16.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

ConsistNet은 다중 시점 이미지 생성에서 잠재 확산 모델에 통합되는 플러그인 모듈로, 경량화된 일致성 블록을 통해 다중 시점 기하학을 활용하여 3D 일관성을 강제한다. 이는 Zero123과 같은 고정 모델을 개선하여 단일 A100 GPU에서 40초 내로 16개의 일관성 있는 시점을 생성하며, 깊이 감독이나 명시적 대응 관계 없이도 3D 일관성을 크게 향상시킨다.

ABSTRACT

Given a single image of a 3D object, this paper proposes a novel method (named ConsistNet) that is able to generate multiple images of the same object, as if seen they are captured from different viewpoints, while the 3D (multi-view) consistencies among those multiple generated images are effectively exploited. Central to our method is a multi-view consistency block which enables information exchange across multiple single-view diffusion processes based on the underlying multi-view geometry principles. ConsistNet is an extension to the standard latent diffusion model, and consists of two sub-modules: (a) a view aggregation module that unprojects multi-view features into global 3D volumes and infer consistency, and (b) a ray aggregation module that samples and aggregate 3D consistent features back to each view to enforce consistency. Our approach departs from previous methods in multi-view image generation, in that it can be easily dropped-in pre-trained LDMs without requiring explicit pixel correspondences or depth prediction. Experiments show that our method effectively learns 3D consistency over a frozen Zero123 backbone and can generate 16 surrounding views of the object within 40 seconds on a single A100 GPU. Our code will be made available on https://github.com/JiayuYANG/ConsistNet

연구 동기 및 목표

• 일반화 모델을 사용하여 단일 기준 이미지에서 다중 시점 이미지 생성 시 3D 일관성이 부족한 문제를 해결하기 위해.
• 명시적 깊이 예측이나 픽셀 수준의 대응 관계 애너테이션을 요구하지 않고도 다중 시점 생성을 가능하게 하기 위해.
• Zero123와 같은 사전 훈련된 잠재 확산 모델의 3D 일관성을 경량화된 훈련 가능한 플러그인 모듈을 통해 향상시키기 위해.
• 다양한 시점 간 기하학적 일관성을 강제하면서도 높은 생성 품질과 효율성을 유지하기 위해.
• VR/AR 및 3D 자산 생성에 적합한 빠르고 고해상도의 3D 인식 이미지 생성을 가능하게 하기 위해.

제안 방법

• 기본적인 다중 시점 기하학 원리를 기반으로 한 교차 시점 특징 교환을 가능하게 하는 다중 시점 일관성 블록을 도입한다.
• 전역 3D 볼륨으로 다중 시점 특징을 역투영하고 3D 일관성을 추론하기 위해 시점 집합 모듈을 활용한다.
• 각 시점으로 3D 일관성 있는 특징을 다시 샘플링하고 집계하여 일관성 강제를 수행하기 위해 레이 집합 모듈을 사용한다.
• 사전 훈련된 노이즈 제거 U-Net의 모든 디코더 레이어에 ConsistNet 블록을 통합하며, 이 블록만 미세조정된다.
• 고정된 기초 모델(예: Zero123)을 활용하고, CLIP 및 카메라 임베딩을 사용하여 시점 조건 기반 생성을 수행한다.
• 디코더 레이어에 추가되는 잔차 특징 맵을 통해 기하학적 일관성을 보장함으로써 다중 시점 간의 기하학적 공통성을 확보한다.

실험 결과

연구 질문

• RQ1 기초 확산 모델을 수정하지 않고도 플러그인 모듈이 다중 시점 이미지 생성에서 3D 일관성을 효과적으로 강제할 수 있는가?
• RQ2 기하학적 인식이 가능한 경량 블록이 Zero123와 같은 고정된 확산 모델에서 일관성을 얼마나 향상시킬 수 있는가?
• RQ3 명시적 감독 없이도 새로운 객체와 복잡한 기하학 구조에 일반화 가능한가?
• RQ4 다중 시점 확산 생성에서 일관성, 속도, 품질 간의 상호 상충 관계는 어떠한가?
• RQ5 깊이 감독이나 픽셀 수준의 대응 관계 없이도 고도의 일관성을 달성할 수 있는가?

주요 결과

• ConsistNet은 모든 고도 각도(0°, 15°, 30°)에서 기본 Zero123 모델보다 3D 일관성이 크게 향상되었으며, LPIPS, SSIM, PSNR 지표에서 일관된 향상이 관찰되었다.
• Google Scanned Objects 데이터셋에서 ConsistNet은 0° 및 15° 고도에서 Zero123와 Syncdreamer를 모두 능가하는 3D 일관성 성능를 보였으며, 30°에서는 유사한 성능를 유지했다.
• 단일 A100 GPU에서 40초 내로 고품질의 16개 일관성 있는 다중 시점 이미지를 생성하여 높은 효율성을 입증했다.
• 정성적 결과에서는 특히 복잡한 형태와 질감을 가진 물체에서 기하학적 정확도와 색상 일관성이 향상된 것으로 나타났다.
• 모델은 새로운 데이터에 대해 잘 일반화되어 있으며, 단일 이미지 3D 재구성의 본질적인 모호성에도 불구하고 다양한 그러나 일관된 다중 시점 출력을 생성했다.
• 플러그인 아키텍처 덕분에 기존 확산 모델에 원활하게 통합되며, 기초 모델의 기능을 유지하면서도 3D 일관성을 추가로 제공한다.