[논문 리뷰] Efficient Geometry-aware 3D Generative Adversarial Networks

Eric R. Chan, Connor Z. Lin외 10명|arXiv (Cornell University)|2021. 12. 15.

Advanced Vision and Imaging인용 수 46

한 줄 요약

이 논문은 혼합 삼평면 표현과 포즈 조건을 갖춘 듀얼 판별기 학습을 사용하는 지오메트리 인식 3D GAN으로, 2D 이미지로부터 고해상도이고 다중 시점 일관된 3D 인식 이미지와 3D 형상을 생성합니다. FFHQ와 AFHQ Cats에서 실시간 렌더링으로 고해상도에서 최첨단 성능을 달성합니다.

ABSTRACT

Unsupervised generation of high-quality multi-view-consistent images and 3D shapes using only collections of single-view 2D photographs has been a long-standing challenge. Existing 3D GANs are either compute-intensive or make approximations that are not 3D-consistent; the former limits quality and resolution of the generated images and the latter adversely affects multi-view consistency and shape quality. In this work, we improve the computational efficiency and image quality of 3D GANs without overly relying on these approximations. We introduce an expressive hybrid explicit-implicit network architecture that, together with other design choices, synthesizes not only high-resolution multi-view-consistent images in real time but also produces high-quality 3D geometry. By decoupling feature generation and neural rendering, our framework is able to leverage state-of-the-art 2D CNN generators, such as StyleGAN2, and inherit their efficiency and expressiveness. We demonstrate state-of-the-art 3D-aware synthesis with FFHQ and AFHQ Cats, among other experiments.

연구 동기 및 목표

• 2D 이미지 컬렉션으로부터 비지도 학습 기반의 고품질 3D 인식 이미지 및 3D 형상 생성을 동기화한다.
• 표현력과 효율성의 균형을 이루는 확장 가능한 3D 표현을 개발한다.
• StyleGAN2와 같은 강력한 2D CNN 생성기를 활용하면서 다중 시점 간 일관성을 가능하게 한다.
• 신경 렌더링에서 특징 생성 분리를 통해 3D 장면 간 일반화를 개선한다.
• 포즈 관련 속성을 모델링하여 학습 데이터를 충실히 재현하면서 일관된 추론을 가능하게 한다.

제안 방법

• 삼평면 하이브리드 명시–암시 3D 표현을 도입하여 셋으로 구성된 서로 직교하는 평면에 특징을 저장하고 경량 MLP를 통해 밀도와 색상을 디코딩한다.
• StyleGAN2 기반 백본을 사용하여 삼평면 특징을 생성하고 3D 인식 출력을 위한 3D 합성을 가능하게 한다.
• 중간 해상도에서 신경 부피 렌더링으로 렌더링한 후 최종 고해상도 RGB 이미지를 생성하는 전용 초해상도 모듈을 적용한다.
• 듀얼 판별기를 적용한다: (i) 저해상도 신경 렌더링과 업샘플링 출력 간의 일관성을 강제하고, (ii) 카메라 내부 파라미터/외부 파라미터를 조건으로 하여 3D 사전 정보를 유도한다.
• 생성기에 카메라 매개변수를 매핑 네트워크에 피드하여 훈련과 추론 중 포즈 관련 속성을 분리한다.
• 비포화 GAN 손실과 R1 정규화를 사용한 엔드투엔드 학습과 함께 두 단계 렌더링 해상도(예: 64^2 → 128^2)로 학습 속도를 높인다.

실험 결과

연구 질문

• RQ1 hybrid explicit–implicit 3D 표현(tri-planes)이 2D 이미지 모음에서 고해상도 다중 시점 일관된 3D 인식 이미지 합성을 효율적으로 제공하는가?
• RQ2 Feature 생성을 신경 렌더링과 분리하면 StyleGAN2와 같은 2D CNN 생성기를 활용한 3D 씬 합성이 3D 일관성을 해치지 않고 가능한가?
• RQ3 듀얼 판별 및 포즈 조건화가 다중 시점 일관성, 포즈 관련 편향, 이미지 품질에 어떤 영향을 미치는가?
• RQ4 FFHQ 및 AFHQ Cats에서 이전 3D 인식 GAN 대비 정량적 이점(FID, 신원 일관성, 깊이 및 포즈 정확도)은 무엇인가?

주요 결과

Dataset	Method	FFHQ FID	FFHQ ID	FFHQ Depth	FFHQ Pose	Cats FID	Cats ID	Cats Depth	Cats Pose
FFHQ 256^2	GIRAFFE	31.5	0.64	0.94	.089	16.1	—	—	—
FFHQ 256^2	π-GAN	29.9	0.67	0.44	.021	16.0	—	—	—
FFHQ 256^2	Lift. SG	29.8	0.58	0.40	.023	—	—	—	—
FFHQ 256^2	Ours	4.8	0.76	0.31	.005	3.88	—	—	—
FFHQ 512^2	Ours	4.7	0.77	0.39	.005	2.77	—	—	—

• FFHQ 및 AFHQ Cats에서 최첨단 3D 인식 합성 달성 및 이미지 품질과 시점 간 일관성에서 현저한 개선.
• 삼평면 표현을 사용하여 512^2 최종 해상도에서 실시간 렌더링을 달성하되 128^2 신경 렌더링 해상도를 사용.
• FID 및 포즈/정체성 지표에서 기초 모델(GIRAFFE, π-GAN, Lifting StyleGAN) 대비 우수한 성과를 보이며, Our 512^2의 FFHQ FID 4.7, Cats 2.77를 달성.
• 듀얼 판별기가 시점 간 표현 드리프트를 줄이는 데 도움을 주어 다중 시점 일관성을 개선하되 생성기 포즈 조건화로 보완하지 않으면 FID에 손실이 발생할 수 있음.
• 이 아키텍처는 2D의 야생 이미지로부터 고품질 3D 기하를 학습하고 스타일 믹싱 및 잠재 사전 정보를 이용한 단일 시점 3D 재구성도 가능하게 한다.