[논문 리뷰] Towards Realistic 3D Embedding via View Alignment

Changgong Zhang, Fangneng Zhan외 3명|arXiv (Cornell University)|2020. 07. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 18

한 줄 요약

이 논문은 3D 모델의 시점과 배경 기하학을 유연한 판별자와 시점 인코딩 텍스처 생성기로 정렬함으로써 2D 배경에 현실적인 3D 객체를 통합할 수 있는 새로운 GAN 프레임워크인 View Alignment GAN (VA-GAN)을 제안한다. VA-GAN은 KITTI 및 Cityscapes 데이터셋에서 자동차 및 보행자 합성 작업에서 최신 기술 수준의 이미지 조합 정밀도를 달성한다.

ABSTRACT

Recent advances in generative adversarial networks (GANs) have achieved great success in automated image composition that generates new images by embedding interested foreground objects into background images automatically. On the other hand, most existing works deal with foreground objects in two-dimensional (2D) images though foreground objects in three-dimensional (3D) models are more flexible with 360-degree view freedom. This paper presents an innovative View Alignment GAN (VA-GAN) that composes new images by embedding 3D models into 2D background images realistically and automatically. VA-GAN consists of a texture generator and a differential discriminator that are inter-connected and end-to-end trainable. The differential discriminator guides to learn geometric transformation from background images so that the composed 3D models can be aligned with the background images with realistic poses and views. The texture generator adopts a novel view encoding mechanism for generating accurate object textures for the 3D models under the estimated views. Extensive experiments over two synthesis tasks (car synthesis with KITTI and pedestrian synthesis with Cityscapes) show that VA-GAN achieves high-fidelity composition qualitatively and quantitatively as compared with state-of-the-art generation methods.

연구 동기 및 목표

• 기존 GAN 기반 이미지 조합 방법이 2D 객체에만 국한되어 있는 한계를 해결하기 위해 현실적인 3D 객체 통합을 가능하게 한다.
• 유연한 기하학적 변환 학습을 통해 배경 기하학과 객체 시점을 정렬함으로써 3D 객체 삽입의 현실감을 향상시킨다.
• 추정된 시점 각도 하에서 정확한 텍스처를 생성할 수 있도록 텍스처 생성기 내의 시점 인코딩 메커니즘을 개발한다.
• 기하학적 일致성과 시각적 정밀도를 유지하면서 복잡한 환경에서 종단 간 훈련이 가능한 이미지 조합을 달성한다.

제안 방법

• VA-GAN은 추정된 시점 방향 하에서 3D 모델의 고품질 텍스처를 합성하기 위해 새로운 시점 인코딩 메커니즘을 갖춘 텍스처 생성기를 사용한다.
• 기하학적 변환 학습을 안내하기 위해 배경 이미지로부터의 기하학적 변환을 유연하게 학습하는 판별자를 도입한다. 이는 3D 객체의 현실적인 자세와 시점 정렬을 보장한다.
• 판별자는 3D 객체의 투영된 시점과 배경 환경 간의 일致성을 최적화하여 공간적 및 구조적 현실감을 강화한다.
• 전체 프레임워크는 종단 간 훈련이 가능하며, 적대적 훈련을 통해 텍스처 생성과 기하학적 정렬을 동시에 최적화한다.
• 3D 객체의 배경에 대한 시점 각도를 추정하여 정확한 시점에서의 텍스처 합성을 가능하게 한다.
• 프레임워크는 자동차 합성을 위한 KITTI 및 보행자 합성을 위한 Cityscapes라는 두 개의 실세계 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 3D 객체의 기하학적 일치성과 시점 정렬을 유지하면서 2D 배경에 현실적인 3D 객체 통합이 가능한 GAN 기반 프레임워크는 구현 가능한가?
• RQ2 유연한 판별자는 3D 객체를 배경 환경과 정렬하기 위한 기하학적 변환을 얼마나 효과적으로 학습하는가?
• RQ3 시점 인코딩 메커니즘은 다양한 시점 각도에서 3D 객체의 텍스처 정밀도를 얼마나 향상시키는가?
• RQ4 시각적 및 정량적 조합 품질 측면에서 제안된 VA-GAN은 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• VA-GAN은 KITTI 데이터셋을 사용한 자동차 합성에서 정성적 및 정량적 평가에서 고정밀도 이미지 조합을 달성한다.
• 모델은 3D 객체의 시점과 배경 환경 기하학 간의 정렬이 향상되어 더 높은 현실감을 보인다.
• 유연한 판별자는 기하학적 변환을 효과적으로 학습하여 삽입된 3D 객체의 더 자연스러운 자세와 시점 각도를 제공한다.
• 텍스처 생성기 내의 시점 인코딩 메커니즘은 추정된 시점 각도 하에서 텍스처 정확도를 크게 향상시킨다.
• VA-GAN은 자동차 및 보행자 합성 작업 모두에서 기존 최신 기술 수준의 생성 방법을 능가한다.
• 다양한 실세계 배경에서 일致성 있고 현실적인 결과를 달성하면서도 종단 간 훈련 가능성을 유지한다.