[논문 리뷰] CR-GAN: Learning Complete Representations for Multi-view Generation

Yu Tian, Xi Peng외 3명|arXiv (Cornell University)|2018. 06. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 42

한 줄 요약

CR-GAN은 두 경로 GAN을 도입하여 생성 경로와 재구성 경로를 통해 완전한 잠재 표현을 학습하고, unseen 입력에서 현실적이고 신원 보존적인 다중 뷰 생성을 가능하게 하며, 비레이블 데이터로 자체 지도 학습을 수행한다.

ABSTRACT

Generating multi-view images from a single-view input is an essential yet challenging problem. It has broad applications in vision, graphics, and robotics. Our study indicates that the widely-used generative adversarial network (GAN) may learn "incomplete" representations due to the single-pathway framework: an encoder-decoder network followed by a discriminator network. We propose CR-GAN to address this problem. In addition to the single reconstruction path, we introduce a generation sideway to maintain the completeness of the learned embedding space. The two learning pathways collaborate and compete in a parameter-sharing manner, yielding considerably improved generalization ability to "unseen" dataset. More importantly, the two-pathway framework makes it possible to combine both labeled and unlabeled data for self-supervised learning, which further enriches the embedding space for realistic generations. The experimental results prove that CR-GAN significantly outperforms state-of-the-art methods, especially when generating from "unseen" inputs in wild conditions.

연구 동기 및 목표

• GAN 기반 다중 뷰 생성에서 완전한 표현의 필요성을 동기 부여한다.
• 완전한 잠재 표현을 학습하기 위한 두 경로 CR-GAN을 제안한다.
• 자가 지도 학습을 통해 레이블이 있는 데이터와 없는 데이터를 모두 학습에 활용할 수 있게 한다.
• 보이지 않는 데이터셋과 야생 조건에 대한 일반화 향상을 보여준다.

제안 방법

• 공유 생성기 G를 갖는 두 경로 아키텍처.
• 생성 경로: G(v, z)는 임의의 잡음 z와 시야 라벨 v에서 이미지를 생성한다.
• 재구성 경로: E는 이미지를 잠재 z와 뷰 v로 매핑하여 대상 뷰를 재구성한다.
• 교차 재구성 작업: E(x_i)는 z를 생성하고, G는 이를 다른 뷰 v_j와 함께 사용하여 x_j를 재구성한다.
• 적대적 손실은 WGAN-GP 스타일 항과 뷰 일관성 항(D_s, D_v)을 포함한다.
• 자가 지도 학습 단계에서 라벨이 없는 데이터에 E가 의사 뷰를 할당하고 이를 사용해 E, G, D를 정제한다.

실험 결과

연구 질문

• RQ1 두 경로 GAN이 전체 잠재 공간 Z를 포괄하는 잠재 표현을 학습할 수 있는가?
• RQ2 생성 경로를 포함시키는 것이 단일 경로 모델과 비교하여 보이지 않는 데이터나 야생 데이터에 대한 일반화를 향상시키는가?
• RQ3 레이블이 없는 데이터를 자가 지도 학습을 통해 효과적으로 활용하여 임베딩 공간을 확장하고 생성 품질을 향상시킬 수 있는가?
• RQ4 도전적인 데이터셋에서 다중 뷰에 걸친 신원 보존 측면에서 CR-GAN의 성능은 어떠한가?

주요 결과

• CR-GAN은 최첨단 방법들을 능가하며, 특히 unseen 데이터(IJB-A)에서 더 우수하다.
• 두 경로 학습은 단일 경로 모델보다 더 현실적이고 디테일이 풍부한 이미지와 더 적은 아티팩트를 산출한다.
• 레이블이 없는 데이터와 함께하는 자가 지도 학습은 임베딩 공간을 풍부하게 하고 현실감 및 신원 보존을 향상시킨다.
• CR-GAN은 DR-GAN에 비해 임베딩 공간에서 더 촘촘한 신원 클러스터를 형성하며, t-SNE 시각화에서 입증된다.
• 신원 유사도 지표에서 CR-GAN은 Multi-PIE, CelebA, IJB-A 데이터셋 전반에 걸쳐 DR-GAN보다 낮은(더 나은) 점수를 달성한다.
• CR-GAN은 임의 잡음에서 다양한 스타일의 다중 뷰 이미지를 생성할 수 있으며, 단일 경로 방법에서 관찰되는 흐림을 피한다.