[논문 리뷰] Self-Supervised GANs with Label Augmentation

Liang Hou, Huawei Shen외 2명|arXiv (Cornell University)|2021. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 7

한 줄 요약

이 논문은 레이블 증강(Self-Supervised GANs with Label Augmentation, SSGAN-LA)을 제안하며, 변환 기반 허위 레이블을 실재/가짜 레이블에 추가하여 생성적 적대적 네트워크(GAN) 학습과 자기지도 학습을 통합하는 새로운 방법을 제시한다. 이로써 판별자는 단일 다중분류 과제를 수행하게 되며, 이는 안정적이고 정보가 풍부한 기울기를 제공하여 치명적인 기억 상실(catastrophic forgetting)을 방지하고 생성자(generator)가 진짜 데이터 분포로 수렴하도록 한다. 이는 전체 데이터 및 제한된 데이터 환경에서 CIFAR-10과 CIFAR-100에서 최고의 FID 및 IS 점수를 달성한다.

ABSTRACT

Recently, transformation-based self-supervised learning has been applied to generative adversarial networks (GANs) to mitigate catastrophic forgetting in the discriminator by introducing a stationary learning environment. However, the separate self-supervised tasks in existing self-supervised GANs cause a goal inconsistent with generative modeling due to the fact that their self-supervised classifiers are agnostic to the generator distribution. To address this problem, we propose a novel self-supervised GAN that unifies the GAN task with the self-supervised task by augmenting the GAN labels (real or fake) via self-supervision of data transformation. Specifically, the original discriminator and self-supervised classifier are unified into a label-augmented discriminator that predicts the augmented labels to be aware of both the generator distribution and the data distribution under every transformation, and then provide the discrepancy between them to optimize the generator. Theoretically, we prove that the optimal generator could converge to replicate the real data distribution. Empirically, we show that the proposed method significantly outperforms previous self-supervised and data augmentation GANs on both generative modeling and representation learning across benchmark datasets.

연구 동기 및 목표

• 생성자 진화로 인한 비정적 학습 환경으로 인해 발생하는 GAN 내 치명적인 기억 상실 문제를 해결하기 위해.
• 기존 자기지도 학습 GAN에서 자주 발생하는 목표 불일치 문제를 해결하기 위해, 즉 자기지도 학습 분류기가 생성자 분포를 고려하지 않는 문제를 해결하기 위해.
• 기존 GAN 목적함수와 자기지도 학습 과제를 별도의 하이퍼파rameter 조정 없이 단일 다중분류 프레임워크로 통합하기 위해.
• 약한 가정 하에 최적의 생성자가 진짜 데이터 분포를 정확히 재현할 수 있음을 이론적으로 보장하기 위해.
• 기준 데이터셋에서 생성 모델링 및 표현 학습 모두에서 뛰어난 성능을 경험적으로 입증하기 위해.

제안 방법

• 실재/가짜 레이블에 변환 기반 허위 레이블(예: 회전, 자르기)을 추가하여 다중분류 레이블을 구성한다.
• 입력에 적용된 변환과 실재/가짜 레이블을 동시에 예측할 수 있는 단일 레이블 증강 판별자를 학습시킨다.
• 결합된 레이블 공간(실재/가짜 + 변환)에 대한 다중분류 교차 엔트로피 손실로 판별자 손실를 정의한다.
• 각 변환 하에서 실재 데이터와 생성된 데이터 분포 간의 격차를 최적의 판별자가 캡처한 바를 기반으로 생성자 학습을 이끌어낸다.
• 판별자의 피드백을 통해 생성자가 실재와 생성된 데이터 분포 간의 반전된 쿨백-라이블러 발산을 최소화하도록 보장한다.
• 자기지도 학습 및 GAN 목적함수를 별도로 유지할 필요 없이, 손실 가중치 조정을 위한 하이퍼파rameter 튜닝을 제거한다.

실험 결과

연구 질문

• RQ1 GAN과 자기지도 학습을 통합한 단일 다중분류 과제가 판별자의 학습 안정성을 높이고 치명적인 기억 상실을 방지할 수 있는가?
• RQ2 변환 하에서 생성자 및 데이터 분포를 모두 고려하는 레이블 증강 판별자는 생성자에게 더 정보가 풍부한 기울기를 제공하는가?
• RQ3 손실 가중치 조정을 위한 추가 하이퍼파rameter 튜닝 없이도 진짜 데이터 분포로의 이론적 수렴을 달성할 수 있는가?
• RQ4 FID, IS 및 표현 학습 측면에서 기존 자기지도 학습 GAN 및 데이터 증강 기법과 비교해 본 결과, 성능이 어떻게 나타나는가?
• RQ5 이 방법은 제한된 데이터 설정을 포함한 다양한 데이터 환경에서도 일반화 가능한가?

주요 결과

• SSGAN-LA는 BigGAN 백본을 사용하여 전체 데이터 및 제한된 데이터 환경 모두에서 CIFAR-10과 CIFAR-100에서 최고의 FID 및 IS 점수를 달성한다.
• CIFAR-10에서 100% 데이터를 사용할 경우, SSGAN-LA는 FID 8.05와 IS 9.30을 기록하며, 이는 이전 최고 성능 기법(BigGAN + DiffAugment)의 FID 8.70과 IS 9.16을 능가한다.
• CIFAR-10에서 20% 데이터만 사용할 경우, SSGAN-LA는 FID를 14.04에서 11.16으로 감소시키고 IS를 8.65에서 8.84로 향상시켜 뛰어난 데이터 효율성을 보여준다.
• CIFAR-100에서 10% 데이터만 사용할 경우, SSGAN-LA는 FID 23.17과 IS 9.81을 기록하며, 기준 모델의 FID 33.70과 IS 8.38을 크게 앞서간다.
• 더 복잡한 통합 학습 과제 덕분에 레이블 증강 판별자는 표준 판별자보다 과적합에 덜 취약하다.
• 이론적 분석을 통해 약한, 쉽게 만족할 수 있는 가정 하에 최적의 생성자가 진짜 데이터 분포를 정확히 재현함을 확인하였다.