[논문 리뷰] Self-labeled Conditional GANs

Mehdi Noroozi|arXiv (Cornell University)|2020. 12. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 7

한 줄 요약

이 논문은 자기 레이블링 조건부 GAN(slcGANs)을 제안하며, 인간이 레이블링한 데이터에 의존하지 않고도 데이터에서 가짜 레이블을 학습함으로써 조건부 이미지 생성이 가능한 완전히 비지도 학습 프레임워크를 제시한다. 이 방법은 ImageNet과 LSUN에서 무조건적 GAN보다 우수한 성능을 보이며, CIFAR10과 CIFAR100에서 인간 레이블링을 사용한 조건부 GAN을 능가하는 FID 점수를 기록한다. 또한 CIFAR100에서 최고 수준의 클러스터링 정확도를 달성한다.

ABSTRACT

This paper introduces a novel and fully unsupervised framework for conditional GAN training in which labels are automatically obtained from data. We incorporate a clustering network into the standard conditional GAN framework that plays against the discriminator. With the generator, it aims to find a shared structured mapping for associating pseudo-labels with the real and fake images. Our generator outperforms unconditional GANs in terms of FID with significant margins on large scale datasets like ImageNet and LSUN. It also outperforms class conditional GANs trained on human labels on CIFAR10 and CIFAR100 where fine-grained annotations or a large number of samples per class are not available. Additionally, our clustering network exceeds the state-of-the-art on CIFAR100 clustering.

연구 동기 및 목표

• 인간 레이블링에 의존하지 않는 완전한 비지도 학습 프레임워크를 개발하여 조건부 GAN 훈련을 가능하게 한다.
• 데이터로부터 세밀한 가짜 레이블을 학습하여 ImageNet과 LSUN과 같은 대규모 데이터셋에서 이미지 생성 품질을 향상시킨다.
• 지도 학습 없이도 의미 있는 분리된 표현을 학습할 수 있는 클러스터링 네트워크를 구축한다.
• 적대적 훈련을 통해 클러스터링 네트워크가 전통적인 클러스터링 방법보다 더 강력한 지도 신호를 제공하는지 확인한다.
• 데이터로부터 파생된 가짜 레이블이 세밀한 분류나 고분산 환경에서 인간 레이블링보다 더 나은 이미지 생성 성능을 이끌 수 있는지 보여준다.

제안 방법

• 실제 이미지에 대해 K차원 확률 벡터(가짜 레이블)를 할당하기 위해 조건부 GAN 프레임워크에 클러스터링 네트워크를 통합한다.
• 생성자는 노이즈 벡터와 가짜 레이블을 조건으로 하여 이미지를 생성하고, 판별자는 진짜(이미지, 가짜 레이블) 쌍과 가짜 쌍을 구분하도록 훈련된다.
• 적대적 훈련을 통해 생성자, 판별자, 클러스터링 네트워크를 동시에 최적화하는 3인용 미니맥스 게임을 구현한다.
• 가짜 레이블이 정보가 없어지는 열악한 해를 방지하기 위해 클러스터링 네트워크 출력에 균일한 사전 확률을 부여하는 정규화 기법을 적용한다.
• 동일한 이미지의 증강된 시각화 간의 가짜 레이블 일관성을 강화하기 위해 다중 시각 클러스터링 손실을 적용한다.
• 조건부 항목과 생성된 이미지 간의 의존성을 강제하여 모드 붕괴나 레이블 숨김 현상을 방지한다.

실험 결과

연구 질문

• RQ1 데이터로부터 가짜 레이블을 학습함으로써 인간 레이블링이 없는 조건부 GAN을 효과적으로 훈련시킬 수 있는가?
• RQ2 데이터로부터 세밀한 가짜 레이블을 학습하면, 굵은 인간 레이블링보다 더 나은 이미지 생성 성능을 얻을 수 있는가?
• RQ3 GAN 프레임워크 내에서 훈련된 클러스터링 네트워크가 비지도 이미지 클러스터링에서 최고 성능을 달성할 수 있는가?
• RQ4 기존 클러스터링 방법(예: k-means)과 비교했을 때, 적대적 훈련 신호가 클러스터 품질과 분포 측면에서 어떤가?
• RQ5 보조적인 다중 시각 클러스터링 손실이 클러스터링 네트워크의 강건성과 성능 향상에 뚜렷한 기여를 하는가?

주요 결과

• 제안된 slcGAN 프레임워크는 ImageNet에서 FID 점수 27.4, LSUN에서 19.5를 기록하며 무조건적 GAN을 크게 능가한다.
• CIFAR10과 CIFAR100에서 slcGAN은 각각 FID 점수 10.8과 18.6을 기록하며 인간 레이블링을 사용한 조건부 GAN을 초월한다.
• 클러스터링 네트워크는 CIFAR100에서 상위-1 클러스터링 정확도 72.1%를 달성하여 이전 최고 기록보다 2.5% 높다.
• 절단 실험 결과, 다중 시각 클러스터링 손실을 제거하면 CIFAR10에서 선형 평가 정확도가 5% 감소함을 확인하여 그 효과를 입증한다.
• 제안된 방법의 클러스터 크기 히스토그램은 k-means보다 더 넓은 범위를 커버하며, 균일한 클러스터 크기 경향을 줄이고 분포 적응성이 뛰어남을 시사한다.
• 정성적 결과에서는 동일한 가짜 레이블 조건 하에 다양하고 고품질의 샘플을 생성할 수 있으며, 주어진 이미지의 여러 스타일 일관성 있는 변형을 재구성할 수 있음을 보여준다.