[논문 리뷰] CDCGen: Cross-Domain Conditional Generation via Normalizing Flows and Adversarial Training

H. Das, Ryan Tran외 3명|arXiv (Cornell University)|2021. 08. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 6

한 줄 요약

CDCGen은 정규화 흐름과 적대적 훈련을 사용하여 레이블이 부족한 타겟 도메인에서 합성 데이터를 생성하기 위해 소스 도메인의 레이블을 활용하는 교차 도메인 조건부 생성 프레임워크를 제안한다. 공통의 가역 잠복 공간에서 소스 도메인과 타겟 도메인을 정렬하고, 잠복 공간에서의 적대적 훈련을 통해 정확한 사이클 일致성과 독립적인 조건부 합성 생성을 실현하며, MNIST 및 USPS와 같은 벤치마크 데이터셋에서 이전 방법들보다 도메인 정렬 및 조건부 생성 성능에서 뛰어난 성능을 발휘한다.

ABSTRACT

How to generate conditional synthetic data for a domain without utilizing information about its labels/attributes? Our work presents a solution to the above question. We propose a transfer learning-based framework utilizing normalizing flows, coupled with both maximum-likelihood and adversarial training. We model a source domain (labels available) and a target domain (labels unavailable) with individual normalizing flows, and perform domain alignment to a common latent space using adversarial discriminators. Due to the invertible property of flow models, the mapping has exact cycle consistency. We also learn the joint distribution of the data samples and attributes in the source domain by employing an encoder to map attributes to the latent space via adversarial training. During the synthesis phase, given any combination of attributes, our method can generate synthetic samples conditioned on them in the target domain. Empirical studies confirm the effectiveness of our method on benchmarked datasets. We envision our method to be particularly useful for synthetic data generation in label-scarce systems by generating non-trivial augmentations via attribute transformations. These synthetic samples will introduce more entropy into the label-scarce domain than their geometric and photometric transformation counterparts, helpful for robust downstream tasks.

연구 동기 및 목표

• 레이블이나 속성이 없는 도메인에서 조건부 합성 데이터를 생성하는 데 도전하는 것.
• 레이블이 있는 소스 도메인에서 레이블이 없는 타겟 도메인으로 지식을 전이하여 데이터 증강을 가능하게 하는 것.
• 가역적 정규화 흐름을 사용하여 교차 도메인 번역에서 정확한 사이클 일치성을 달성하는 것.
• 타겟 도메인 레이블을 필요로 하지 않고도 독립적이고 속성 기반의 조건부 생성을 지원하는 것.
• 풍부하고 분리된 잠복 표현을 갖춘 도메인 정렬과 조건부 생성을 통합하는 프레임워크를 제공하는 것.

제안 방법

• 소스 도메인과 타겟 도메인을 각각 별도의 정규화 흐름으로 모델링하여 공통의 잠복 공간으로 매핑함으로써 가역성과 정확한 사이클 일치성을 보장한다.
• 소스 도메인과 타겟 도메인의 분포를 공통 잠복 공간에서 정렬하기 위해 적대적 판별기 사용으로 도메인 불변성을 강제한다.
• ACGAN의 변형을 사용하여 잠복 공간에서 조건부 합성 네트워크를 훈련함. 조건(예: 클래스 레이블)은 인코딩되어 샘플 생성에 사용된다.
• 클래스 레이블을 잠복 공간으로 매핑하기 위해 인코더를 활용하여 잠복 공간 조작을 통한 조건부 생성을 가능하게 한다.
• 최대우도 정규화 흐름 훈련과 적대적 훈련을 결합한 공동 훈련 기반으로 도메인 정렬 및 조건부 생성을 동시에 수행한다.
• t-SNE 시각화를 통해 공통 잠복 공간이 클래스 정체성을 유지하고 속성 간 의미 있는 보간을 가능하게 함을 확인한다.

실험 결과

연구 질문

• RQ1 생성 모델이 GAN 기반의 근사 매핑에 의존하지 않고도 교차 도메인 번역에서 정확한 사이클 일치성을 달성할 수 있는가?
• RQ2 레이블이 없는 타겟 도메인에서 레이블이 있는 소스 도메인만을 사용하여 조건부 합성 샘플을 생성할 수 있는가?
• RQ3 정규화 흐름을 통해 두 도메인을 공통 잠복 공간에 모델링함으로써 효과적인 도메인 정렬과 분리된 속성 제어가 가능한가?
• RQ4 기하학적 및 광학적 데이터 증강과 비교해 볼 때, CDCGen은 다양한 분산, 높은 엔트로피를 가진 합성 샘플을 얼마나 잘 생성하는가?
• RQ5 표현력이 뛰어나고 레이블 가용성이 다양한 복잡한 데이터 분포(예: 얼굴 이미지 또는 표 형식 데이터)로 프레임워크가 일반화 가능한가?

주요 결과

• 정규화 흐름의 가역성 덕분에 CDCGen은 GAN 기반 방법이 근사적인 사이클 일치성에 의존하는 것과는 달리 정확한 사이클 일치성을 달성한다.
• 공통 잠복 공간의 t-SNE 시각화 결과 각 숫자 클래스에 대해 명확하고 잘 분리된 클러스터가 관찰되어 클래스 정체성이 도메인 간에 유지됨을 확인한다.
• 조건부 합성은 타겟 도메인에서 현실적인, 속성 기반의 샘플(예: 숫자 '3' 또는 '7')을 생성하며, 열 간에 다양한 시각적 다양성을 보여주어 확률적 생성임을 나타낸다.
• 모델은 MNIST 숫자를 USPS 스타일로, 반대로도 성공적으로 변환하며 클래스 정체성을 유지하면서 타겟 도메인 스타일에 적응한다.
• 이미지 선명도는 약간 감소했지만, CDCGen은 표준 데이터 증강 기법보다 더 높은 엔트로피의 샘플을 생성하여 후속 학습의 강건성에 유리하다.
• MNIST 및 USPS에서의 실험 결과, 모든 소스-타겟 조합에서 도메인 정렬 및 조건부 생성 성능 면에서 뛰어난 성능을 입증한다.