[논문 리뷰] Generative Occupancy Fields for 3D Surface-Aware Image Synthesis

Xudong Xu, Xingang Pan외 2명|arXiv (Cornell University)|2021. 11. 01.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

이 논문은 생성적 점유도 필드(Generative Occupancy Fields, GOF)를 제안한다. GOF는 반사율 필드의 부피 기반 렌더링에서 점유도 표현을 통해 표면 전용 렌더링으로 전환함으로써, 압축되고 날카운 3D 객체 표면을 가능하게 하는 새로운 생성적 반사율 필드 모델이다. 학습 중에 샘플링 영역을 점차 줄이고 알파 값들을 점유도로 재해석함으로써, 상태 최고 수준의 3D 일致성 있는 이미지 합성과 고품질, 매끄러운 표면을 달성한다.

ABSTRACT

The advent of generative radiance fields has significantly promoted the development of 3D-aware image synthesis. The cumulative rendering process in radiance fields makes training these generative models much easier since gradients are distributed over the entire volume, but leads to diffused object surfaces. In the meantime, compared to radiance fields occupancy representations could inherently ensure deterministic surfaces. However, if we directly apply occupancy representations to generative models, during training they will only receive sparse gradients located on object surfaces and eventually suffer from the convergence problem. In this paper, we propose Generative Occupancy Fields (GOF), a novel model based on generative radiance fields that can learn compact object surfaces without impeding its training convergence. The key insight of GOF is a dedicated transition from the cumulative rendering in radiance fields to rendering with only the surface points as the learned surface gets more and more accurate. In this way, GOF combines the merits of two representations in a unified framework. In practice, the training-time transition of start from radiance fields and march to occupancy representations is achieved in GOF by gradually shrinking the sampling region in its rendering process from the entire volume to a minimal neighboring region around the surface. Through comprehensive experiments on multiple datasets, we demonstrate that GOF can synthesize high-quality images with 3D consistency and simultaneously learn compact and smooth object surfaces. Code, models, and demo videos are available at https://sheldontsui.github.io/projects/GOF

연구 동기 및 목표

• 부피 기반 렌더링으로 인해 생성적 반사율 필드(GRAFs)가 흐릿하고 비압축적인 객체 표면을 생성하는 데에 한계가 있음.
• 표면에서 희박한 기울기로 인해 직접 점유도 기반 생성 모델의 학습이 불안정해지는 문제를 해결함.
• 반사율 필드의 기울기 분포(안정적인 학습을 위한)와 점유도 네트워크의 표면 압축성(표면의 농축성)의 이점을 하나의 프레임워크에서 통합함.
• 후속 작업(예: 조명 재설정, 형상 편집 등)에 적합한 정확한 표면 기하학을 갖춘 고해상도 3D 일치 이미지 합성을 가능하게 함.

제안 방법

• 학습 중에 누적 부피 렌더링(반사율 필드)에서 표면 전용 렌더링(점유도 필드)으로의 전이를 구현함. 이 과정에서 샘플링 영역을 전체 부피에서 예측된 표면 주변의 최소 이웃 영역으로 점차 축소함.
• 부피 렌더링에서의 알파 값들을 점유도 값으로 재해석함으로써, 암묵적 신경 결정 경계를 통해 표면을 탐지할 수 있는 루트 찾기(root-finding)를 가능하게 함.
• 학습이 진행됨에 따라 전체 부피 샘플링에서 시작하는 미분 가능 렌더링 프로세스를 표면 인접 영역으로 점차 제한함.
• 일관된 생성기 아키텍처 내에서 반사율과 점유도 필드를 모두 모델링할 수 있도록 FiLMed-SIREN 신경망 백본을 활용함.
• 학습 안정성 향상과 표면 품질 향상을 위해 투명도 및 표면 법선에 대한 정규화 항을 적용함. 특히 실제 환경 설정에서 유의미한 효과를 발휘함.
• 추론 시에 부피 기반 렌더링 모드와 표면 전용 렌더링 모드를 모두 지원함으로써, 더 적은 샘플 수로도 효율적인 렌더링을 가능하게 함.

실험 결과

연구 질문

• RQ1 생성 모델은 반사율 필드의 학습 안정성과 점유도 네트워크의 표면 압축성을 동시에 확보할 수 있는가?
• RQ2 학습 중에 부피 기반 렌더링에서 표면 전용 렌더링으로의 전이를 어떻게 미분 가능하고 안정적으로 구현할 수 있는가?
• RQ3 알파 값들을 점유도 값으로 재해석함으로써 정확한 표면 위치 탐지와 압축된 표면 학습이 가능해지는가?
• RQ4 샘플링 영역을 줄이는 전략이 실제 및 합성 데이터셋에서 표면의 날카움과 일반화 능력을 향상시키는가?
• RQ5 제안된 방법은 GAN 역전환, 자유 시점 합성, 조명 재설정 등의 후속 작업을 고품질 법선 맵과 함께 지원할 수 있는가?

주요 결과

• GOF는 합성(BFM) 및 실제 세계(CelebA, FFHQ) 데이터셋에서 3D 일치 이미지 합성 분야에서 상태 최고 성능을 달성하며, pi-GAN보다 더 날카우고 압축된 표면을 구현함.
• 제거 실험 결과, 투명도 또는 법선 정규화 항을 제거할 경우 얼굴에 연기 같은 노이즈나 형태에 구멍이 생기는 아티팩트가 발생하지만, GOF는 여전히 베이스라인을 능가함.
• 샘플링 영역을 줄이는 전략을 적용하지 않을 경우, 노이즈가 많은 법선 맵과 오목한 3D 형태가 생성됨으로써, 전이 메커니즘이 표면의 압축성 유지를 위해 필수적임을 입증함.
• GAN 역전환 결과, GOF는 실제 이미지를 재구성하고 3D 형태 및 법선 맵을 복원할 수 있음을 보여주며, 자유 시점 합성 및 후속 편집을 가능하게 함.
• 조명 재설정 실험 결과, GOF는 pi-GAN이 체크무늬 아티팩트와 노이즈 많은 법선으로 어려움을 겪는 것과는 달리, 다양한 조명 조건에서 더 현실적인 이미지를 생성함.
• 추론 시에 표면 전용 렌더링을 적용함으로써 샘플링 부담을 줄이고 고해상도 이미지 품질을 유지함. 특히 샘플링 영역 축소 전략과 조합할 경우 더욱 효과적임.