[논문 리뷰] GRAM: Generative Radiance Manifolds for 3D-Aware Image Generation

Yu Deng, Jiaolong Yang외 2명|arXiv (Cornell University)|2021. 12. 16.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

GRAM은 체적 공간 대신 암묵적 2차원 다양체 위에서 복사장(field)을 학습하는 새로운 3D 인식 이미지 생성 프레임워크를 제안한다. 이는 고해상도이며 시야 제어가 가능한 이미지 합성과 강력한 3D 일致성을 가능하게 한다. 광선-표면 교차점에서만 샘플링함으로써 몬테카를로 노이즈를 제거하고, 단지 6개의 표면만으로도 최신 기준(FID 25.8)을 달성하며, NeRF-H보다도 더 낮은 48개의 점을 사용한 경우에도 슈퍼리어한 성능을 보인다.

ABSTRACT

3D-aware image generative modeling aims to generate 3D-consistent images with explicitly controllable camera poses. Recent works have shown promising results by training neural radiance field (NeRF) generators on unstructured 2D images, but still can not generate highly-realistic images with fine details. A critical reason is that the high memory and computation cost of volumetric representation learning greatly restricts the number of point samples for radiance integration during training. Deficient sampling not only limits the expressive power of the generator to handle fine details but also impedes effective GAN training due to the noise caused by unstable Monte Carlo sampling. We propose a novel approach that regulates point sampling and radiance field learning on 2D manifolds, embodied as a set of learned implicit surfaces in the 3D volume. For each viewing ray, we calculate ray-surface intersections and accumulate their radiance generated by the network. By training and rendering such radiance manifolds, our generator can produce high quality images with realistic fine details and strong visual 3D consistency.

연구 동기 및 목표

• 2D GAN과 3D 인식 생성 모델 간의 이미지 품질 격차를 해소하기 위해 세부 사양의 정밀도와 3D 일관성을 향상시키기.
• 체적 복사장에서의 부족한 몬테카를로 샘플링으로 인한 GAN 학습의 불안정성과 노이즈 문제를 해결하기.
• 샘플링 및 복사장 학습을 2차원 암묵적 다양체로 제한함으로써 체적 렌더링의 계산 및 메모리 비용을 줄이기.
• 사전에 표면을 추출하고 복사장을 그 위에 저장함으로써 실시간 다중 시점 렌더링을 가능하게 하기.
• 이전의 NeRF 기반 GAN보다는 훨씬 적은 광선 당 샘플링 포인트를 사용함에도 불구하고 뛰어난 성능을 달성하기.

제안 방법

• 클래스 전체에 공유되는 경량 MLP를 통해 3D 스칼라 필드 내에서 암묵적 2차원 다양체(등치면)의 집합을 정의한다.
• 각 시야 광선을 따라 샘플링 지점들을 결정하기 위해 미분 가능한 광선-표면 교차 계산을 수행한다.
• 별도의 MLP를 사용해 교차점에서의 복사장 값을 누적함으로써 엔드 투 엔드 GAN 학습이 가능하도록 한다.
• StyleGAN2를 영감으로 삼은 수정된 네트워크 아키텍처를 사용하며, 학습 안정성과 이미지 품질 향상을 위해 渐进적 성장(Progressive Growing)을 제거한다.
• 특히 계층적 샘플링을 사용할 경우 학습 안정성을 높이기 위해 실제 이미지의 자세 정보를 활용한 보조 지도를 통합한다.
• 추론 시에는 마치닝 큐브스를 사용해 표면을 사전에 추출하고, 메시 레스터라이저를 통해 이미지를 렌더링함으로써 실시간 자유 시점 렌더링(180 FPS)을 가능하게 한다.

실험 결과

연구 질문

• RQ1 2D 다양체로 복사장 학습을 효과적으로 제약화함으로써 3D 인식 GAN의 세부 사양 정밀도 향상과 샘플링 노이즈 감소를 달성할 수 있는가?
• RQ2 예를 들어 6개의 암묵적 표면만으로도, 예를 들어 48개의 점을 사용하는 체적 샘플링보다 이미지 품질과 3D 일관성 측면에서 뛰어난 성능을 내는가?
• RQ3 진행적 성장 제거와 스킵 연결 추가가 3D 인식 GAN의 학습 안정성과 생성 품질에 어떤 영향을 미치는가?
• RQ4 자세 지도가 복사장 다양체 학습의 안정성과 품질에 어느 정도 기여하는가?
• RQ5 복사장 다양체가 이미지 품질을 희생시키지 않고 실시간 다중 시점 렌더링을 가능하게 하는가?

주요 결과

• GRAM은 FFHQ에서 단지 6개의 학습된 표면만으로도 FID 25.8을 달성했으며, NeRF-H(30.0)를 뛰어넘었고, 이는 광선 당 48개의 점을 사용한 경우조차도 슈퍼리어한 성능을 보였다.
• NeRF-H는 12개 이하의 점을 사용할 경우 눈에 띄는 노이즈 패atters를 보이는 반면, GRAM은 극단적인 샘플링 제약 조건에서도 노이즈 없는 이미지를 생성한다.
• 진행적 성장을 제거하고 스킵 연결을 추가함으로써 FID는 30.6(Base)에서 25.8로 향상되었으며, 이는 새로운 학습 전략의 효과를 입증한다.
• 자세 정규화는 학습 안정성을 크게 향상시켰다: 실제 자세 지도 없이 학습하면 NeRF-H는 완전히 실패하지만, GRAM은 높은 성능을 유지한다.
• GRAM은 표면을 사전에 추출하고 메시 레스터라이저를 사용함으로써 V100 GPU에서 180 FPS로 실시간 자유 시점 렌더링을 가능하게 했다.
• 이 방법은 얼굴 질감, 얇은 구조물 등 매우 현실적인 세부 사양을 생성하며, 샘플링 노이즈로 인한 아티팩트 없이도 모든 시점에서 일관되게 유지된다.