[논문 리뷰] JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets

Yunchen Pu, Shuyang Dai외 6명|arXiv (Cornell University)|2018. 06. 08.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 21

한 줄 요약

JointGAN은 생성적 적대적 네트워크 프레임워크를 도입하여 다중 랜덤 변수(예: 이미지, 텍스트, 레이블)의 근사 분포와 조건부 분포를 함께 학습한다. 공유 파라미터를 가진 생성기와 단일 소프트맥스 기반의 비평가를 활용함으로써, 근사 분포, 조건부 분포 또는 전체 결합 분포에서의 엔드 투 엔드 합성을 가능하게 하며, 쌍체계 및 비쌍체계 설정 모두에서 두 단계 기반 방법에 비해 상당한 향상된 이미지 관련성과 품질을 달성한다.

ABSTRACT

A new generative adversarial network is developed for joint distribution matching. Distinct from most existing approaches, that only learn conditional distributions, the proposed model aims to learn a joint distribution of multiple random variables (domains). This is achieved by learning to sample from conditional distributions between the domains, while simultaneously learning to sample from the marginals of each individual domain. The proposed framework consists of multiple generators and a single softmax-based critic, all jointly trained via adversarial learning. From a simple noise source, the proposed framework allows synthesis of draws from the marginals, conditional draws given observations from a subset of random variables, or complete draws from the full joint distribution. Most examples considered are for joint analysis of two domains, with examples for three domains also presented.

연구 동기 및 목표

• 다양한 랜덤 변수의 전체 결합 분포를 조건부 또는 근사 분포만 학습하는 것이 아니라 통합된 생성 모델을 개발하는 것.
• 기존 GAN이 경험적 근사 분포를 필요로 하여 학습된 근사 분포에서의 합성을 수행할 수 없는 한계를 극복하는 것.
• 실제 데이터와 가짜 데이터 간 비교를 단일 소프트맥스 기반 비평가로 통합하여 복잡성을 감소시키고 학습 효율성을 향상시키는 것.
• 공유 파라미터를 활용하여 파rameter 폭발을 방지하면서도, 세 개 이상의 도메인을 포함한 다중 도메인 환경으로 프레임워크를 확장하는 것.
• 이미지, 텍스트, 레이블 등의 다양한 데이터 유형에서 감독 및 비감독 학습 환경 모두에서 모델의 효과성을 입증하는 것.

제안 방법

• 프레임워크는 결합 분포를 q(x,y) = q(x)q(y|x) = q(y)q(x|y)로 분해하여, 적대적 학습을 통해 근사 분포와 조건부 분포를 동시에 학습한다.
• 네 개의 생성기를 사용한다: 근사 샘플링을 위한 두 개(q(x) 및 q(y)), 조건부 샘플링을 위한 두 개(q(y|x) 및 q(x|y)).
• 단일 5방향 소프트맥스 비평자는 실제 데이터와 네 가지 유형의 가짜 데이터(근사 샘플, 조건부 샘플, 결합 샘플)를 구분한다.
• 모든 생성기와 비평자는 적대적 학습을 통해 공동으로 훈련되며, 생성기 간에 공유 파라미터를 사용하여 모델 복잡성을 감소시킨다.
• 세 가지 합성 모드를 지원한다: 노이즈 소스에서 근사 분포에서의 샘플링, 관측된 변수를 기반으로 한 조건부 샘플링, 또는 전체 결합 분포에서의 전체 샘플링.
• 프레임워크는 생성기와 비평가 설계를 적절히 확장하여 세 개 이상의 도메인으로 일반화할 수 있다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 다중 도메인 간에 근사 분포와 조건부 분포를 함께 학습하여 전체 결합 샘플링을 가능하게 할 수 있는가?
• RQ2 공유 파라미터를 가진 단일 비평가 설계는 다중 비평가 또는 두 단계 기반 방법에 비해 샘플 품질과 분포 매칭 측면에서 어떻게 비교되는가?
• RQ3 JointGAN은 세 개 이상의 도메인으로 일반화될 수 있는가? 이 경우 샘플의 다양성과 정확성은 유지되는가?
• RQ4 기존의 두 단계 방법(GAN + 조건부 GAN 등)에 비해, 비감독 및 감독 학습 환경 모두에서 연합 생성 작업에서 성능이 뛰어나게 되는가?
• RQ5 쌍체계 학습 데이터가 없더라도, 모델은 일관되고 고품질의 쌍체계 샘플(예: 이미지-캡션, 이미지-레이블)을 생성할 수 있는가?

주요 결과

• 쌍체계 데이터를 사용한 facades-to-labels-to-cityscapes 작업에서 JointGAN은 관련성 점수 0.488을 기록하여 WGAN-GP + Pix2pix 기준(0.352)을 크게 상회한다.
• 비쌍체계 설정에서는 JointGAN이 관련성 점수 0.452를 기록하여 WGAN-GP + CycleGAN 기준(0.203)을 초월하며 강력한 제로샷 일반화 성능을 입증한다.
• Caltech-UCSD Birds 데이터셋에서 JointGAN은 다양하고 일관된 이미지-캡션 특징 쌍을 성공적으로 생성하였으며, 노이즈에서 고품질의 이미지 생성과 정확한 캡션 특징 재구성 능력을 보였다.
• 모델의 단일 소프트맥스 비평자는 다섯 가지 실재 대 가짜 비교를 효과적으로 통합하여 학습 안정성을 향상시키고 아키텍처 복잡성을 감소시켰다.
• 정성적 결과는 JointGAN이 도메인 간에 현실적이고 다양한, 의미적으로 일관된 쌍체계 샘플(예: 이미지-캡션, 이미지-레이블 번역)을 생성함을 보여준다.
• 프레임워크는 근사 분포, 조건부 분포 또는 전체 결합 분포에서의 엔드 투 엔드 결합 샘플링을 가능하게 하여 이전 모델보다 더 큰 유연성을 제공한다.