[논문 리뷰] RGBD-GAN: Unsupervised 3D Representation Learning From Natural Image Datasets via RGBD Image Synthesis

Atsuhiro Noguchi, Tatsuya Harada|arXiv (Cornell University)|2019. 09. 27.

Advanced Vision and Imaging참고 문헌 32인용 수 15

한 줄 요약

이 논문은 RGBD-GAN을 제안하며, 깊이 맵, 카메라 자세, 다중 시점 이미지와 같은 3D 애너테이션 없이 자연스러운 2D 이미지 데이터셋에서 일관된 RGBD 이미지를 생성하는 새로운 비지도 3D 표현 학습 방법이다. 서로 다른 카메라 파라미터 하에서 생성된 이미지에 대해 명시적인 3D 일관성 손실을 도입함으로써, 모델은 객체 정체성과 카메라 자세를 분리하고, StyleGAN 및 PGGAN과 같은 다양한 생성자 아키텍처에서 카메라 조건부 이미지 생성을 가능하게 하며, 최소한의 감독으로 최신 기술 수준의 깊이 및 색상 일관성을 달성한다.

ABSTRACT

Understanding three-dimensional (3D) geometries from two-dimensional (2D) images without any labeled information is promising for understanding the real world without incurring annotation cost. We herein propose a novel generative model, RGBD-GAN, which achieves unsupervised 3D representation learning from 2D images. The proposed method enables camera parameter-conditional image generation and depth image generation without any 3D annotations, such as camera poses or depth. We use an explicit 3D consistency loss for two RGBD images generated from different camera parameters, in addition to the ordinal GAN objective. The loss is simple yet effective for any type of image generator such as DCGAN and StyleGAN to be conditioned on camera parameters. Through experiments, we demonstrated that the proposed method could learn 3D representations from 2D images with various generator architectures.

연구 동기 및 목표

• 깊이 맵, 카메라 자세, 다중 시점 이미지와 같은 3D 애너테이션이 전혀 없는 자연스러운 2D 이미지 데이터셋에서 비지도 3D 표현 학습을 가능하게 하기.
• 약한 지도 학습 방식으로 잠재 공간에서 객체 정체성과 카메라 자세를 분리하여, 이미지 생성 시 시점에 대한 명시적 제어를 가능하게 하기.
• 3D 잠재 공간이나 명시적 3D 지도 없이도 어떤 이미지 생성 아키텍처(예: StyleGAN, PGGAN)와도 호환되는 학습 프레임워크 개발하기.
• 다양한 카메라 시점에서의 분산 측도를 사용하여 생성된 RGBD 이미지의 3D 일관성을 정량적으로 평가하기.

제안 방법

• 생성자는 카메라 파라미터(예: 아즈임스, 엘레베이션, 초점 거리)에 조건부로 RGBD 이미지를 생성하는 조건부 GAN 프레임워크를 사용한다.
• 새로운 3D 일관성 손실을 도입하여, 동일한 콘텐츠이지만 다른 카메라 파라미터에서 생성된 두 RGBD 이미지가 동일한 기저 3D 시점을 나타내야 한다는 조건을 강제한다.
• 이 손실은 서로 다른 시점에서 생성된 3D 포인트들을 공통의 3D 공간으로 투영하고, 해당 시점 간의 대응 포인트들 간의 분산을 측정하여 계산된다.
• 표준 GAN의 적대적 손실 외에 이 손실을 적용함으로써, 모델은 깊이 구조와 시점 제어를 동시에 학습할 수 있다.
• 이 방법은 아키텍처에 종속되지 않으며, 생성자 내부 설계를 수정하지 않고도 어떤 생성자(예: PGGAN, StyleGAN, DeepVoxels)와도 통합 가능하다.
• 학습 과정에서는 지도된 깊이, 카메라 자세, 다중 시점 지도가 필요 없이 오직 레이블이 없는 RGB 이미지만 사용된다.

실험 결과

연구 질문

• RQ1 지침 없는 3D 애너테이션이 있는 자연스러운 2D 이미지 데이터셋에서 생성 모델이 3D 일관성 있는 깊이 및 카메라 제어 가능한 이미지 생성을 학습할 수 있는가?
• RQ2 제안된 3D 일관성 손실이 잠재 공간에서 카메라 자세와 객체 정체성을 효과적으로 분리하는가?
• RQ3 이 방법은 아키텍처 수정 없이도 StyleGAN 및 PGGAN과 같은 다양한 생성자 아키텍처에 적용 가능한가?
• RQ4 기존 방법과 비교해 본 모델의 3D 일관성은 깊이 및 색상 분산 측도에서 어떻게 평가되는가?
• RQ5 3D 일관성 손실의 포함 여부가 FID 측도로 측정된 생성된 RGB 이미지의 품질과 다양성에 영향을 주는가?

주요 결과

• 제안된 방법은 최신 기술 수준의 3D 일관성을 달성하였으며, StyleGAN에 3D 손실을 적용했을 때 ShapeNet 차량 데이터셋에서 V_depth와 V_color 점수는 각각 0.00027과 0.0469를 기록하였다.
• FFHQ 얼굴 데이터셋에서는 V_depth가 - (사용 불가)에서 0.00141로, V_color가 -에서 0.0142로 감소하여 명백한 3D 일관성이 입증되었다.
• StyleGAN에 3D 손실을 적용한 FID 점수는 FFHQ에서 24.2, ShapeNet 차량 데이터셋에서 13.5를 기록하여 조건부 모델 대비 경쟁력 있거나 향상된 이미지 품질을 보였다.
• 3D 손실이 없는 베이스라인 모델과 비교해 본 결과, 다양한 카메라 시점에서의 깊이 및 색상 분산이 낮아져 3D 일관성 측면에서 유의미하게 뛰어난 성능을 보였다.
• 3D 잠재 표현을 이미 사용하는 DeepVoxels와 같은 모델에 적용해도 3D 일관성 손실이 효과적이며, 이는 일관성 지표 향상에 기여하였다.
• 이 방법은 아키텍처 수정 없이도 PGGAN 및 StyleGAN과 같은 다양한 아키텍처에서 카메라 파rameter 조건부 이미지 생성을 가능하게 하였다.