[논문 리뷰] Non-saturating GAN training as divergence minimization

Matt Shannon, Ben Poole외 6명|arXiv (Cornell University)|2020. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 8

한 줄 요약

이 논문은 비포화 GAN 훈련이 근사적으로 새로운 f-발산인 '부드러운 반대 KL 발산'을 최소화함을 입증하며, 이는 반대 KL과 정량적으로 유사하고 실무에서 흔히 관찰되는 높은 샘플 품질과 낮은 다양성의 원인을 설명한다. 저자들은 꼬리 무게와 변분 형식을 활용한 f-발산 비교를 위한 일반적인 도구를 제안하여 비포화 GAN 훈련의 오랫동안 애매했던 이론적 문제를 해결한다.

ABSTRACT

Non-saturating generative adversarial network (GAN) training is widely used and has continued to obtain groundbreaking results. However so far this approach has lacked strong theoretical justification, in contrast to alternatives such as f-GANs and Wasserstein GANs which are motivated in terms of approximate divergence minimization. In this paper we show that non-saturating GAN training does in fact approximately minimize a particular f-divergence. We develop general theoretical tools to compare and classify f-divergences and use these to show that the new f-divergence is qualitatively similar to reverse KL. These results help to explain the high sample quality but poor diversity often observed empirically when using this scheme.

연구 동기 및 목표

• 널리 사용되는 비포화 GAN 훈련 방식에 대한 엄밀한 이론적 근거를 제공하여, 이전에는 공식적인 발산 최소화 기반 없이 사용되어 왔다.
• 비포화 GAN이 최소화하는 목적 함수에 관해 문헌에서 제기된 상반된 주장을 해결한다.
• 특히 꼬리 무게와 모드 탐색 성질을 중심으로 f-발산의 정성적 행동에 기반한 일반적인 비교 도구를 개발한다.
• 발산 최소화의 관점에서 비포화 GAN의 실증적 상충 관계인 샘플 품질과 다양성 간의 균형을 설명한다.
• 이론적 분석에 기반해 하이브리드 훈련과 손실 모니터링과 같은 실용적 개선 방법을 제안한다.

제안 방법

• 저자들은 생성자 기울기 갱신을 분석하여 비포화 GAN 훈련이 최소화하는 f-발산을 유도하며, 이는 $ D_f(p,q) = 2\operatorname{KL}(\tfrac{1}{2}p + \tfrac{1}{2}q \| p) $로 표현되며, '부드러운 반대 KL 발산'이라 불린다.
• 정의 함수 $ f'' $ 의 두 번째 도함수를 활용해 f-발산을 재구성함으로써, 대수적 및 시각적 분석을 통한 발산 성질 간 직접 비교가 가능해진다.
• 모드 탐색 및 모드 커버리지 행동을 일반화하고 분류하기 위해 '꼬리 무게'라는 새로운 개념을 도입한다.
• f-발산의 변분 경계를 사용하여 최적의 크리틱 하에서 비포화 생성자 목적 함수가 부드러운 반대 KL 발산을 최소화함을 보였다.
• 부드러운 반대 KL 발산을 반대 KL 및 IGOG 발산과 비교하여 정성적으로 유사하지만 정확한 동치는 아님을 보였다.
• 이론적 도구를 적용하여 부드러운 반대 KL 발산이 모드 탐색 성향을 보이며 (2,0) 꼬리 무게를 가짐을 입증함으로써, GAN에서 낮은 다양성의 원인을 설명했다.

실험 결과

연구 질문

• RQ1 비포화 GAN 훈련이 근사적으로 최소화하는 f-발산은 무엇인가?
• RQ2 부드러운 반대 KL 발산의 정성적 성질은 반대 KL 및 기타 f-발산과 어떻게 비교되는가?
• RQ3 왜 비포화 GAN 훈련은 고품질의 샘플을 생성하지만 모드 붕괴 문제를 겪는가?
• RQ4 f-발산 비교를 위한 통합 프레임워크를 사용해 비포화 훈련에 대한 이론적 혼동을 해결할 수 있는가?
• RQ5 최소화되는 발산을 이해함으로써 유도할 수 있는 GAN 훈련의 실용적 개선 방법은 무엇인가?

주요 결과

• 비포화 GAN 훈련은 근사적으로 $ D_f(p,q) = 2\operatorname{KL}(\tfrac{1}{2}p + \tfrac{1}{2}q \| p) $ 로 표현되는 '부드러운 반대 KL 발산'을 최소화하며, 이는 이전에 제안된 IGOG 발산과 동치가 아니다.
• 부드러운 반대 KL 발산은 (2,0) 꼬리 무게를 가지며, 강한 모드 탐색 성향을 나타내어 실무에서 관찰되는 높은 샘플 품질과 낮은 다양성의 원인을 설명한다.
• 부드러운 반대 KL 발산은 반대 KL과 정성적으로 유사하므로, 하이브리드 훈련에 더 이론적으로 타당한 대안으로 반대 KL을 고려할 수 있다.
• 이전에 잘못 해석된 바와 같이 비포화 목적 함수가 KL과 JS 발산의 조합임을 이론적으로 입증함으로써 문헌 내 상반된 주장을 해소하였다.
• 기존 비포화 생성자 손실만을 추적하는 것보다, 훈련 중에 부드러운 반대 KL 발산을 모니터링하는 것이 더 유의미한 정보를 제공한다.
• 훈련 중에 오른쪽 꼬리 무게를 3/2에서 1로 점차 감소시키는 것(애너일링)은 다양성과 품질 간의 균형을 맞추는 데 도움이 되며, 새로운 훈련 전략을 제안한다.