[논문 리뷰] 3D-Aware Video Generation

Sherwin Bahmani, Jeong Joon Park외 6명|arXiv (Cornell University)|2022. 06. 29.

Generative Adversarial Networks and Image Synthesis인용 수 8

한 줄 요약

이 논문은 단일 2D 영상에서 3D 인식 영상을 학습할 수 있는 최초의 4D 생성 적대적 네트워크(GAN)를 소개한다. 신경 암시적 표현과 시간 인식 판별기 기반으로, 잠재 공간에서 정체성과 운동을 분리함으로써, 제어 가능한 카메라 시점과 자연스러운 운동을 갖춘 고품질의 시각 일致성 있는 3D 영상을 합성한다. 기존의 최고 수준의 2D 영상 GAN들과 비교해도 경쟁적인 성능을 달성한다.

ABSTRACT

Generative models have emerged as an essential building block for many image synthesis and editing tasks. Recent advances in this field have also enabled high-quality 3D or video content to be generated that exhibits either multi-view or temporal consistency. With our work, we explore 4D generative adversarial networks (GANs) that learn unconditional generation of 3D-aware videos. By combining neural implicit representations with time-aware discriminator, we develop a GAN framework that synthesizes 3D video supervised only with monocular videos. We show that our method learns a rich embedding of decomposable 3D structures and motions that enables new visual effects of spatio-temporal renderings while producing imagery with quality comparable to that of existing 3D or video GANs.

연구 동기 및 목표

• 단일 시점 2D 영상만을 사용하여 다중 시점 또는 3D 레이블 없이 3D 인식 영상을 생성할 수 있는 4D GAN을 개발하는 것.
• 3D 정체성과 운동 표현을 분리하여 학습함으로써, 공간적·시간적 렌더링을 제어 가능한 방식으로 가능하게 하는 것.
• 새로운 시간 인식 판별기를 사용하여 생성된 3D 영상의 다중 시점 및 시간 일관성을 확보하는 것.
• 3D 인식 영상 생성이 단일 영상 지도만으로 가능함을 입증하고, 다각도 일관성 측면에서 기존의 2D 영상 GAN들을 향상시키는 것.

제안 방법

• 생성자는 임의의 $xyzt$ 좌표에서 쿼리 가능한 4D 신경 암시적 필드를 사용하여 시간에 따라 변화하는 연속적인 3D 장면을 표현한다.
• 3D 정체성과 운동을 위한 별도의 잠재 코드를 사용하여 형태와 역학을 분리된 방식으로 생성한다.
• 시간 인식 판별기는 동일한 영상 시퀀스에서 무작위로 선택한 두 프레임과 그들의 시간 차이를 비교하여 현실성 평가를 수행한다.
• 생성자가 임의의 카메라 시점에서 사진 수준의 정교한 영상 프레임을 생성하도록 유도하기 위해 적대적 손실을 사용한다.
• 다중 시점 일관성을 향상시키기 위해 FFHQ에서 사전 훈련한 후, FaceForensics에서 운동 학습을 위한 미세조정을 수행한다.
• 영상 품질 향상을 위해 영상 판별기 외에 별도의 이미지 판별기를 사용하며, 이는 FVD 점수를 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 2D 영상 데이터만을 지도로 사용하여 4D GAN이 3D 인식 영상을 학습시킬 수 있는가?
• RQ2 명시적인 3D 지도 없이도 4D 생성 모델에서 시간적·다중 시점 일관성을 어떻게 확보할 수 있는가?
• RQ3 시간 인식 판별기가 3D 영상 생성의 운동 현실성과 영상 품질에 미치는 영향은 어떠한가?
• RQ4 정체성과 운동을 위한 분리된 잠재 표현이 3D 영상 합성의 제어 가능성과 품질 향상에 기여하는가?
• RQ5 고품질 이미지 데이터셋(예: FFHQ)에서의 사전 훈련이 생성된 3D 영상의 다중 시점 일관성과 현실성에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련된 모델은 FaceForensics에서 FVD 점수 127.2와 ID 점수 0.982를 기록하여 강력한 다중 시점 일관성과 현실적인 운동을 보였다.
• 별도의 이미지 판별기를 사용할 경우 FVD 점수가 158.3으로 감소하였으며, 손상된 영상 판별기(190.9)나 이미지 판별기 없이 사용할 경우(234.3)보다 유의미하게 뛰어난 성능을 보였다.
• 운동 생성기에서 시간을 단순 곱하기 연산으로 통합한 모델이 FVD 점수 158.3으로 가장 낮았으며, 위치 인코딩(175.4)과 연결(164.7) 방식보다 우수했다.
• FFHQ와 FaceForensics를 동시에 훈련할 경우 사전 훈련보다 다중 시점 일관성이 떨어지는 결과(ID = 0.893)를 보였으며, 이는 최적화 목표 간의 갈등을 시사했다.
• 정성적 결과로 기존의 기본 모델 대비 더 선명한 렌더링과 더 넓은 시점 범위(특히 피치와 엘레베이션 각도에서)를 확보했으나, 색상의 생생함은 略로 감소했다.