[논문 리뷰] Improving 3D-aware Image Synthesis with A Geometry-aware Discriminator

Zifan Shi, Yinghao Xu외 4명|arXiv (Cornell University)|2022. 09. 30.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 3D 인식 GAN을 향상시키기 위해 실수/가짜 이미지 분류와 3D 기하 구조(깊이 및 노멀 맵) 추출을 동시에 수행하는 기하 구조 인식 디스criminator인 GeoD를 제안한다. 이는 생성자에게 명시적인 3D 지도를 제공함으로써 이미지 품질을 훼손하지 않은 채 3D 형상 정확도를 크게 향상시킨다. 다양한 데이터셋과 생성자 아키텍처에서 검증되었으며, 추가로 새로운 시각 합성 브랜치를 통해 다중 시각 일致성을 향상시키는 데도 응용 가능하다.

ABSTRACT

3D-aware image synthesis aims at learning a generative model that can render photo-realistic 2D images while capturing decent underlying 3D shapes. A popular solution is to adopt the generative adversarial network (GAN) and replace the generator with a 3D renderer, where volume rendering with neural radiance field (NeRF) is commonly used. Despite the advancement of synthesis quality, existing methods fail to obtain moderate 3D shapes. We argue that, considering the two-player game in the formulation of GANs, only making the generator 3D-aware is not enough. In other words, displacing the generative mechanism only offers the capability, but not the guarantee, of producing 3D-aware images, because the supervision of the generator primarily comes from the discriminator. To address this issue, we propose GeoD through learning a geometry-aware discriminator to improve 3D-aware GANs. Concretely, besides differentiating real and fake samples from the 2D image space, the discriminator is additionally asked to derive the geometry information from the inputs, which is then applied as the guidance of the generator. Such a simple yet effective design facilitates learning substantially more accurate 3D shapes. Extensive experiments on various generator architectures and training datasets verify the superiority of GeoD over state-of-the-art alternatives. Moreover, our approach is registered as a general framework such that a more capable discriminator (i.e., with a third task of novel view synthesis beyond domain classification and geometry extraction) can further assist the generator with a better multi-view consistency.

연구 동기 및 목표

• 기존 3D 인식 GAN의 한계를 해결하기 위해, 고해상도 2D 이미지 합성은 가능하지만 정확한 3D 형상을 생성하지 못하는 문제를 해결한다.
• 기존 GAN에서 디스criminator의 지도가 2D 이미지 공간에서만 작용하므로 형상-외관 모호성이 발생할 수 있음을 밝히며, 이는 3D 형상 학습에 부적절하다는 점을 규명한다.
• 생성자에게 직접적인 3D 지도를 제공하기 위해, 3D 기하 구조 추출 브랜치를 디스criminator에 추가하는 기하 구조 인식 디스criminator(GeoD)를 제안한다.
• 디스criminator에 새로운 시각 합성 작업을 추가하여 3D 인식 이미지 합성의 다중 시각 일치성을 향상시킨다.
• GeoD가 다양한 3D 인식 GAN 아키텍처와 데이터셋에 일반화 가능함을 보여준다.

제안 방법

• GeoD는 실수/가짜 이미지 분류와 3D 기하 구조 추출(깊이 및 노멀 맵)을 동시에 수행하는 다중 작업 디스criminator를 도입한다.
• 기하 구조 브랜치는 외부 사전 훈련된 모델에서 제공하는 진짜 기하 지도를 사용하여 진짜 이미지만으로 비지도 학습된다.
• 생성자와 디스criminator가 함께 최적화되며, 분류 브랜치와 기하 구조 브랜치 양쪽에서 온도 기반 기울기를 받아 3D 형상 충실도를 향상시킨다.
• 기하 구조 추출 브랜치는 디스criminator에 부착된 경량 네트워크 헤드로 구현되며, 생성자와 함께 엔드 투 엔드로 훈련된다.
• 다중 시각 일치성을 향상시키기 위해, IBRNet를 사용하여 디스criminator에 제3의 작업인 새로운 시각 합성 작업을 추가로 통합한다.
• 이 방법은 π-GAN, StyleNeRF, VolumeGAN 등 다양한 3D 인식 GAN에 적용되어 아키텍처 간 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 2D 단일 지도만을 사용하는 기존 디스criminator보다 기하 구조 인식 디스criminator가 3D 인식 GAN의 3D 형상 정확도를 향상시킬 수 있는가?
• RQ2 디스criminator에 3D 기하 구조 추출 브랜치를 추가하면 형상-외관 모호성이 감소하고 더 현실적인 3D 재구성이 가능해지는가?
• RQ3 제안된 GeoD 프레임워크는 다양한 3D 인식 GAN 아키텍처와 데이터셋에 일반화 가능한가?
• RQ4 디스criminator에 새로운 시각 합성 브랜치를 추가하면 생성 이미지의 다중 시각 일치성이 더욱 향상되는가?
• RQ5 실제 기하 지도 레이블에 대한 미세 조정 없이도 GeoD가 GAN 역전환을 통해 실제 이미지에서 더 현실적이고 매끄럽고 일관된 3D 재구성을 가능하게 하는가?

주요 결과

• 모든 평가된 데이터셋(FFHQ, AFHQ 고양이, LSUN 침실)에서 GeoD는 낮은 SIDE 점수를 기록하여 더 정확한 기하 구조를 나타내며 3D 형상 정확도를 크게 향상시켰다.
• LSUN 침실 데이터셋에서 GeoD는 기준선 대비 SIDE 지표를 25.6% 감소시켜 3D 형상 충실도 향상의 상당한 성과를 보였다.
• FID 점수는 유지되거나 略로 향상되어, 추가적인 3D 지도에도 불구하고 2D 이미지 품질이 떨어지지 않았다.
• 새로운 시각 합성 브랜치를 추가한 GeoD는 더 낮은 재구성 오차와 더 높은 지각 유사도를 통해 다중 시각 일치성을 향상시켰다.
• GAN 역전환 실험에서 GeoD는 2D 지도 기반 기준선 대비 더 현실적이고 매끄럽고 일관된 새로운 시각 합성을 갖는 더 나은 3D 재구성을 가능하게 하였다.
• π-GAN, StyleNeRF, VolumeGAN 등 다양한 3D 인식 GAN에 대해 GeoD는 아키텍처 간 일致성 있는 기하 구조 품질 향상을 보여주며 효과적인 일반화를 입증하였다.