[논문 리뷰] Self-Supervised GANs via Auxiliary Rotation Loss

Ting Chen, Xiaohua Zhai외 3명|arXiv (Cornell University)|2018. 11. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 7

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 판별자 안정성과 표현 학습을 향상시키기 위해 보조 회전 예측 손실을 도입한 자기지도 학습 GAN을 제안한다. 진짜 이미지와 생성된 이미지의 회전 각도를 판별자가 예측하도록 훈련시킴으로써, 동일한 조건에서 FID 23.4를 기록하며 조건부 GAN 성능을 도달하는 무조건적 ImageNet 생성에서 최신 기술 수준을 달성한다.

ABSTRACT

Conditional GANs are at the forefront of natural image synthesis. The main drawback of such models is the necessity for labeled data. In this work we exploit two popular unsupervised learning techniques, adversarial training and self-supervision, and take a step towards bridging the gap between conditional and unconditional GANs. In particular, we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game. The role of self-supervision is to encourage the discriminator to learn meaningful feature representations which are not forgotten during training. We test empirically both the quality of the learned image representations, and the quality of the synthesized images. Under the same conditions, the self-supervised GAN attains a similar performance to state-of-the-art conditional counterparts. Finally, we show that this approach to fully unsupervised learning can be scaled to attain an FID of 23.4 on unconditional ImageNet generation.

연구 동기 및 목표

• 비정적 환경에서 GAN 훈련 중 판별자 기억 상실 문제를 해결하여 학습의 안정성을 향상시키기 위해.
• 레이블이 없는 데이터를 요구하지 않고 무조건적 GAN과 조건부 GAN 간의 성능 격차를 해소하기 위해.
• 회전 예측을 통한 자기지도 사전 훈련을 통해 판별자의 특징 표현을 향상시키기 위해.
• ImageNet과 같은 복잡한 데이터셋에서 고품질의 완전한 비지도 이미지 생성을 가능하게 하기 위해.
• 자기지도 학습이 레이블의 역할을 대체하여 적대적 훈련의 안정성을 높이고 생성 성능을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 입력 이미지의 회전 각도(0°, 90°, 180°, 270°)를 판별자가 분류하도록 보조 회전 예측 손실을 도입한다.
• 훈련 중에는 이 손실을 진짜 이미지에만 적용하고, 주요 GAN 손실은 여전히 진짜 대 가짜 분류에 유지한다.
• 표현 학습을 위해 생성자와 판별자를 협동적으로 훈련하면서도, 표준 GAN 게임에서 경쟁하도록 한다.
• 적대적 및 자기지도 학습 작업 모두에 동일한 판별자 아키텍처를 사용하여 특징 표현을 공유한다.
• 자기지도 신호를 통해 판별자의 내부 표현이 안정화되고 치명적인 기억 상실이 감소하도록 한다.
• 자기모듈레이션, 정규화, 단순화 기법 등을 활용하여 모델을 확장함으로써 고해상도의 무조건적 ImageNet 생성을 달성한다.

실험 결과

연구 질문

• RQ1 회전 예측을 통한 자기지도 학습이 GAN 훈련을 안정화시키고 판별자 기억 상실을 줄일 수 있는가?
• RQ2 자신이 없는 판별자가 보조 자기지도 학습을 통해 조건부 GAN의 성능에 얼마나 가까이 다가설 수 있는가?
• RQ3 회전 기반 자기지도 학습이 후속 작업을 위한 학습된 이미지 표현의 품질을 향상시키는가?
• RQ4 이 방법이 레이블이 전혀 없는 조건에서 ImageNet에서 최신 기술 수준의 무조건적 이미지 생성을 달성할 수 있는가?
• RQ5 생성자와 판별자가 표현 학습에서 협동할 경우, 생성 품질과 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• 자기지도 GAN은 무조건적 ImageNet 생성에서 프레셰 인ception 거리(FID) 23.4를 달성하여 완전한 비지도 모델로서 뚜렷한 성과를 기록했다.
• 동일한 훈련 조건에서 레이블이 전혀 필요 없이 최신 기술 수준의 조건부 GAN 성능을 도달했다.
• 보조 회전 손실 덕분에 판별자가 더 안정적이고 의미 있는 특징 표현을 학습하게 되어 치명적인 기억 상실이 감소했다.
• 자기지도 신호가 판별자가 분리된 의미 있는 특징을 학습하도록 유도함으로써 합성된 이미지의 품질을 향상시켰다.
• 이 방법은 대규모 데이터셋으로도 효과적으로 확장되며, 클래스 레이블이나 조건부 감독 없이도 경쟁 가능한 성능을 달성했다.
• 자기지도 학습이 레이블의 역할을 효과적으로 대체하여 GAN 훈련의 안정성과 생성 성능 향상에 기여할 수 있음을 보여주었다.