[논문 리뷰] CoDeGAN: Contrastive Disentanglement for Generative Adversarial Network

Jiangwei Zhao, Zejia Liu외 2명|arXiv (Cornell University)|2021. 03. 05.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 6

한 줄 요약

이 논문은 생성적 적대적 네트워크에서 계층 간 변동因을 분리하는 데에 대비하여 대조 학습을 활용하는 새로운 대비 분리 프레임워크인 CD-GAN을 제안한다. 클래스 관련 특징에 대해 대조 손실을 적용하고 레이블이 부여된 앵커 이미지를 통해 제한된 감독을 통합함으로써, CD-GAN은 비지도 학습에서 최고 성능을 달성하며, 레이블이 1–2% 밖에 없는 조건에서도 크게 향상된다.

ABSTRACT

Disentanglement, a critical concern in interpretable machine learning, has also garnered significant attention from the computer vision community. Many existing GAN-based class disentanglement (unsupervised) approaches, such as InfoGAN and its variants, primarily aim to maximize the mutual information (MI) between the generated image and its latent codes. However, this focus may lead to a tendency for the network to generate highly similar images when presented with the same latent class factor, potentially resulting in mode collapse or mode dropping. To alleviate this problem, we propose exttt{CoDeGAN} (Contrastive Disentanglement for Generative Adversarial Networks), where we relax similarity constraints for disentanglement from the image domain to the feature domain. This modification not only enhances the stability of GAN training but also improves their disentangling capabilities. Moreover, we integrate self-supervised pre-training into CoDeGAN to learn semantic representations, significantly facilitating unsupervised disentanglement. Extensive experimental results demonstrate the superiority of our method over state-of-the-art approaches across multiple benchmarks. The code is available at https://github.com/learninginvision/CoDeGAN.

연구 동기 및 목표

• 생성적 적대적 네트워크에서 확률적 추론과 샘플 가능도를 갖추지 못한 점을 해결하기 위해 분리된 표현을 학습하는 데에 도전한다.
• 동일한 요소 값이 유사한 이미지 특징을 생성한다는 직관에 기반하여, 대조 학습을 활용한 GAN 내 계층 간 분리의 새로운 패러다임을 탐색한다.
• 특히 복잡한 데이터 분포에서, 제한된 감독의 활용도를 극대화하기 위해 노력한다.
• 대조 손실 설계를 통해 훈련 안정성을 향상시키고 모드 붕괴를 방지한다.

제안 방법

• 생성자, 판별자, 인코더를 갖춘 대비 분리 프레임워크(CD-GAN)를 도입하며, 생성자는 연속적인 콘텐츠 코드 z와 일항 요소 코드 c를 사용한다.
• 실제 레이블이 부여된 이미지를 앵커 포인트로 간주하고, 생성된 이미지의 특징을 동일하거나 다른 클래스의 실제 이미지 특징과 대조하는 대조 손실을 적용한다.
• ℓ₂ 손실과 대조 손실을 모두 사용하여 인코더를 감독함으로써, 동일한 클래스에 속하는 이미지의 특징은 서로 가까워지고, 다른 클래스의 특징는 서로 멀어지도록 보장한다.
• 명시적인 가능도나 사후 확률 추론 없이도, 대조 손실을 통해 생성자가 클래스 일관성 있는 샘플을 생성하도록 암묵적으로 이끌 수 있도록 한다.
• MNIST, Fashion-MNIST, CIFAR-10, dSprites, Faces 등의 다양한 데이터셋에 프레임워크를 적용하고, 레이블 효율성에 대한 분석 연구를 수행한다.
• SNGAN 아키텍처를 사용하며, 정확도(ACC), 정규화된 상호정보량(NMI), 조정된 랜드 지수(ARI), FID, Inception Score(IS)와 같은 표준 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 확률적 추론에 의존하지 않고도 대조 학습이 GAN 내 계층 간 요소 분리를 효과적으로 적용할 수 있는가?
• RQ2 제한된 감독을 어떻게 최대한 활용하여 GAN 기반 모델의 분리 성능을 향상시킬 수 있는가?
• RQ3 대조 손실이 GAN 훈련의 안정성을 향상시키고 모드 붕괴를 완화하는 데 기여하는가?
• RQ4 CD-GAN은 비지도 및 약한 지도 학습 설정에서 최고 수준의 분리 성능를 달성할 수 있는가?

주요 결과

• MNIST에서 CD-GAN은 0.91 ACC, 0.93 NMI, 0.94 ARI를 기록하며 비지도 학습에서 최고 성능을 달성했으며, InfoGAN과 ClusterGAN을 압도한다.
• Fashion-MNIST에서 비지도 설정에서는 0.66 ACC, 0.62 NMI, 0.53 ARI를 기록하며 기준 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 레이블이 1–2% 밖에 없는 조건에서도 CD-GAN은 성능을 크게 향상시켜 Fashion-MNIST에서 0.82 ACC, 0.72 NMI, 0.68 ARI를 달성했다.
• 복잡한 CIFAR-10 데이터셋에서 5% 레이블 조건에서도 CD-GAN은 0.41 ACC, 7.65 IS, 23.97 FID를 기록했으며, 비지도 기준 모델보다 뚜렷이 우수했고, 지도 학습 모델과도 경쟁 가능한 성능을 보였다.
• 대조 손실 설계 덕분에 생성된 이미지의 특징 분리와 校정이 향상되었으며, 실제 레이블이 부여된 이미지를 앵커로 사용함으로써 일반화 능력과 분리 능력이 향상되었다.
• CD-GAN은 대조 손실 덕분에 훈련 안정성이 향상되고 모드 붕괴가 감소했으며, 이는 생성 샘플의 다양성과 일관성을 유도하기 때문이다.