[논문 리뷰] Coupled Generative Adversarial Networks

Ming-Yu Liu, Oncel Tuzel|arXiv (Cornell University)|2016. 06. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 102

한 줄 요약

CoGAN은 두 GAN 간의 고수준 특징 디코딩을 공유하여 대응하는 이미지 쌍 없이도 다-domain 이미지의 공동 분포를 학습하고, 비지도식 공동 생성, 도메인 적응 및 이미지 변환을 가능하게 한다.

ABSTRACT

We propose coupled generative adversarial network (CoGAN) for learning a joint distribution of multi-domain images. In contrast to the existing approaches, which require tuples of corresponding images in different domains in the training set, CoGAN can learn a joint distribution without any tuple of corresponding images. It can learn a joint distribution with just samples drawn from the marginal distributions. This is achieved by enforcing a weight-sharing constraint that limits the network capacity and favors a joint distribution solution over a product of marginal distributions one. We apply CoGAN to several joint distribution learning tasks, including learning a joint distribution of color and depth images, and learning a joint distribution of face images with different attributes. For each task it successfully learns the joint distribution without any tuple of corresponding images. We also demonstrate its applications to domain adaptation and image transformation.

연구 동기 및 목표

• 별도의 주변 샘플로부터 다도메인 이미지의 공동 분포를 학습하도록 동기를 부여한다.
• GAN에 가중치 공유를 도입하여 명시적으로 짝지어진 학습 데이터의 필요성을 제거한다.
• 공유된 고수준 표현이 도메인 간의 공동 생성을 가능하게 함을 보여준다(예: 색-깊이 페어링, 속성 여부에 따른 얼굴 등).

제안 방법

• 고수준 디코딩 계층의 가중치 공유 제약을 갖는 두 도메인용 두 개의 GAN으로 GAN 프레임워크를 확장한다.
• 생성기의 앞쪽 k 계층을 공유하여 도메인 간에 공통의 고수준 시맨틱스를 강제한다.
• 판별기의 마지막 l 계층을 공유하여 도메인 간 고수준 결정 경계를 정렬한다.
• 두 도메인에서 표준 GAN 손실을 최적화하면서 가중치 공유를 강제하는 제약된 미니맥스 목적함수를 정의한다.
• 공동 도메인 대응 없이 각 도메인의 주변 분포 샘플로 학습한다.
• 생성 쌍 간 픽셀 수준 일치를 통해 평가하고 조건부 GAN 기준과 비교한다.

실험 결과

연구 질문

• RQ1 두 이미지 도메인에 대한 공동 분포를 짝지어진 훈련 데이터 없이 학습할 수 있는가?
• RQ2 생성기에 대한 가중치 공유를 강제하는 것이 독립적인 주변 샘플로부터 대응하는 교차 도메인 출력이 가능하게 하는가?
• RQ3 색-깊이 페어링, 속성 기반 얼굴 생성, 도메인 적응과 같은 작업에서 CoGAN의 성능은 어떤가?

주요 결과

• CoGAN은 주변 샘플만으로 두 이미지 도메인의 공동 분포를 학습할 수 있다.
• 생성기의 더 많은 가중치 공유 계층이 성능을 향상시키며, 공유된 고수준 시맨틱스가 공동 생성을 주도함을 시사한다.
• 판별기의 가중치 공유는 매개변수 효율성에 이롭지만 공동 분포 학습에 필수적이지는 않다.
• CoGAN은 픽셀 일치 지표에서 digit-edge와 digit-negative 작업에서 조건부 GAN 기준선보다 우수하다.
• CoGAN은 대응하는 훈련 예제가 없어도 color-depth 쌍 및 얼굴 속성 쌍을 생성할 수 있어 비지도 공동 분포 학습을 입증한다.
• 적용 사례로는 비지도 도메인 적응(MNIST에서 USPS로) 및 교차 도메인 이미지 변환이 포함된다.