[논문 리뷰] Self-Supervised Generative Adversarial Networks

Ting Chen, Xiaohua Zhai외 3명|arXiv (Cornell University)|2018. 11. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 15

한 줄 요약

이 논문은 레이블이 없는 데이터를 요구하지 않고, 적대적 훈련과 자기지도 학습을 조합하여 의미 있는 특징 표현을 학습하는 자기지도 생성 적대적 네트워크(GAN)를 제안한다. 이 방법은 이미지 생성에서 최신 기술 수준의 조건부 GAN과 비교할 만한 성능을 달성하며, 무조건적 ImageNet 생성에서 FID 점수 33을 기록하여 강력한 비지도 학습 능력을 입증한다.

ABSTRACT

Conditional GANs are at the forefront of natural image synthesis. The main drawback of such models is the necessity for labelled data. In this work we exploit two popular unsupervised learning techniques, adversarial training and self-supervision, to close the gap between conditional and unconditional GANs. In particular, we allow the networks to collaborate on the task of representation learning, while being adversarial with respect to the classic GAN game. The role of self-supervision is to encourage the discriminator to learn meaningful feature representations which are not forgotten during training. We test empirically both the quality of the learned image representations, and the quality of the synthesized images. Under the same conditions, the self-supervised GAN attains a similar performance to state-of-the-art conditional counterparts. Finally, we show that this approach to fully unsupervised learning can be scaled to attain an FID of 33 on unconditional ImageNet generation.

연구 동기 및 목표

• 레이블이 없는 데이터를 요구하지 않고 조건부 GAN과 무조건적 GAN 간의 성능 격차를 해소하기 위해.
• 자기지도 학습을 활용해 지도 없이도 GAN에서 효과적인 표현 학습을 가능하게 하기 위해.
• 완전히 비지도 설정에서 훈련하면서도 고품질의 이미지 생성을 유지하기 위해.
• 레이블 없이 ImageNet과 같은 대규모 데이터셋에 대해 이론적으로 확장 가능한 접근법을 제공하기 위해.

제안 방법

• 모델은 조건부 GAN 프레임워크를 사용하지만, 레이블 지도 학습 대신 자기지도 사전 과제를 통해 표현 학습을 이끌어내는 방식을 채택한다.
• 자기지도 학습은 대조적 학습 목표를 통해 적용되며, 이는 판별기가 분리된 의미 있는 특징을 학습하도록 유도한다.
• 판별기는 적대적 식별과 자기지도 표현 학습을 동시에 수행하도록 공동으로 훈련된다.
• 생성자와 판별자는 두 가지 게임을 동시에 수행한다: 하나는 적대적 게임, 다른 하나는 자기지도 학습이며, 공통된 특징 학습을 공유한다.
• 자기지도 신호로는 인스턴스 식별을 사용하며, 양의 쌍은 동일한 이미지의 증강된 변형들로 구성된다.
• 최종 모델은 적대적 손실과 자기지도 대조적 손실을 조합한 복합 손실을 통해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 자기지도 학습은 레이블이 없이도 GAN 내 표현 품질을 향상시킬 수 있는가?
• RQ2 완전히 비지도 설정에서 훈련된 GAN이 최신 기술 수준의 조건부 GAN과 동일한 이미지 품질을 달성할 수 있는가?
• RQ3 자기지도 GAN은 ImageNet과 같은 대규모 데이터셋에 얼마나 잘 스케일링되는가?
• RQ4 자기지도 학습은 적대적 훈련 중에 판별기가 유용한 특징를 잊어버리는 것을 방지하는가?

주요 결과

• 자기지도 GAN은 동일한 훈련 조건에서 최신 기술 수준의 조건부 GAN과 비교해 이미지 생성 품질이 유사한 성능을 달성한다.
• 무조건적 ImageNet 생성에서 FID 점수 33을 기록하여 완전히 비지도 설정에서 뛰어난 성능을 입증한다.
• 자기지도 학습은 판별기 내 학습된 특징 표현의 품질과 안정성을 크게 향상시킨다.
• 판별기는 훈련 전반에 걸쳐 의미 있는 특징 표현을 유지하며, 특징 기억 상실 현상을 방지한다.