[논문 리뷰] Self-Supervised GAN to Counter Forgetting

Ting Chen, Xiaohua Zhai외 1명|arXiv (Cornell University)|2018. 10. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 8

한 줄 요약

이 논문은 지속적인 GAN 훈련에서 디스criminator의 기억 상실 문제를 완화하기 위해 디스criminator에 기반한 자기지도 학습 손실을 추가하는 자기지도 학습 GAN을 제안한다. 이 방법은 레이블 없이 표현 학습을 향상시켜 조건부 GAN과 유사한 성능을 달성하며, 표준 GAN보다 다운스트림 이미지 분류 작업에서 뛰어난 성능을 보인다.

ABSTRACT

GANs involve training two networks in an adversarial game, where each network's task depends on its adversary. Recently, several works have framed GAN training as an online or continual learning problem. We focus on the discriminator, which must perform classification under an (adversarially) shifting data distribution. When trained on sequential tasks, neural networks exhibit \emph{forgetting}. For GANs, discriminator forgetting leads to training instability. To counter forgetting, we encourage the discriminator to maintain useful representations by adding a self-supervision. Conditional GANs have a similar effect using labels. However, our self-supervised GAN does not require labels, and closes the performance gap between conditional and unconditional models. We show that, in doing so, the self-supervised discriminator learns better representations than regular GANs.

연구 동기 및 목표

• 변하는 데이터 분포에 노출될 때 성능이 저하되는 디스criminator의 치명적 기억 상실 문제를 해결한다.
• 레이블이 없는 무조건적 GAN에서 표현 학습을 향상시킨다. 일반적으로 레이블이 없어 조건부 GAN에 비해 성능이 열등한 편이다.
• 레이블이나 명시적 메모리 재생 없이도 조건부 및 무조건적 GAN 간의 성능 격차를 줄인다.
• 자기지도 표현 학습이 GAN 훈련의 안정성과 다운스트림 분류 정확도를 향상시킨다는 것을 입증한다.

제안 방법

• 입력 이미지의 회전 각도를 예측하는 보조 작업으로서 디스criminator에 기반한 회전 기반 자기지도 학습 손실을 도입한다.
• 디스criminator 훈련 중 표준 GAN 손실과 회전 예측 손실을 결합하여 안정적이고 의미 있는 특징 표현을 유도한다.
• 추가 파rameter 없이도 GAN 목표와 자기지도 학습 회전 작업에 동일한 디스criminator 아키텍처를 사용한다.
• 생성자 분포가 시간이 지남에 따라 변화하는 환경에서 지속 학습 설정으로 디스criminator를 훈련한다. 비정적 데이터를 시뮬레이션한다.
• 디스criminator의 다양한 잔차 블록에서의 특징 맵을 사용해 선형 분류기 훈련을 통해 표현 품질을 평가한다.
• 표준 훈련 프로토콜을 적용한다: 배치 정규화, 학습률 감소, 검증 세트에서의 조기 정지

실험 결과

연구 질문

• RQ1 자기지도 학습이 레이블 없이도 무조건적 GAN의 디스criminator 표현 학습을 향상시킬 수 있는가?
• RQ2 회전 기반 자기지도 학습 손실을 추가함으로써 지속적인 GAN 훈련 중 디스criminator의 치명적 기억 상실을 줄일 수 있는가?
• RQ3 표준 GAN과 조건부 GAN에 비해 자기지도 학습 GAN이 다운스트림 이미지 분류 정확도에서 얼마나 향상되는가?
• RQ4 이와 같은 방법이 ImageNet에서 다른 자기지도 표현 학습 방법과 비교해 특징 품질 측면에서 어떻게 성능을 내는가?

주요 결과

• SsGAN는 CIFAR-10에서 블록 2의 특징을 사용해 0.796 ± 0.005의 정확도를 달성하여, SN-GAN(0.778 ± 0.001)과 P-cGAN(0.776 ± 0.005)를 모두 능가한다.
• ImageNet에서는 블록 5에서 0.353 ± 0.006의 정확도를 기록하여, P-cGAN(0.324 ± 0.007)을 능가하고 RotNet(0.387)과 BiGAN(0.310)과 같은 최신 자기지도 학습 방법과 유사한 성능을 보였다.
• SsGAN의 표현 품질은 100만 훈련 스텝 동안 지속적으로 향상되며, P-cGAN와 SsGAN의 표현은 20만 스텝 후에 정체된다.
• SsGAN는 레이블 없이도 무조건적 GAN과 조건부 GAN 간의 성능 격차를 이미지 생성 및 표현 학습 측면에서 메우며, 성능을 향상시켰다.
• 단순한 회전 기반 기준 모델(Rotation)은 CIFAR-10 블록 0에서 0.710 ± 0.002의 정확도를 기록하여, 자기지도 학습만으로도 표준 GAN보다 표현 품질이 향상됨을 보여준다.
• SsGAN는 ImageNet에서 0.359의 정확도를 기록하여, Context(0.317), Colorization(0.315), RotNet(0.387)을 모두 능가하며 경쟁 가능한 표현 학습 성능을 입증했다.