[논문 리뷰] Implicit competitive regularization in GANs

Florian Schaefer, Hongkai Zheng외 1명|arXiv (Cornell University)|2019. 10. 13.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 GAN의 성공이 명시적 발산 최소화가 아니라 암묵적 경쟁 정규화(implicit competitive regularization, ICR)에 기인한다며 주장한다. ICR는 동기적으로 생성자와 판별기를 동시에 훈련함으로써 발생하는 동적이고 탄생하는 정규화 효과이다. 경쟁적 경사하강법(competitive gradient descent, CGD)을 사용함으로써 ICR를 강화한 결과, 하이퍼파ram터 조정 없이도 명시적 정규화 없이 CIFAR10에서 최신의 inception 점수를 달성하였으며, Adam을 사용한 표준 WGAN-GP보다도 뛰어난 성능을 보였다.

ABSTRACT

To improve the stability of GAN training we need to understand why they can produce realistic samples. Presently, this is attributed to properties of the divergence obtained under an optimal discriminator. This argument has a fundamental flaw: If we do not impose regularity of the discriminator, it can exploit visually imperceptible errors of the generator to always achieve the maximal generator loss. In practice, gradient penalties are used to regularize the discriminator. However, this needs a metric on the space of images that captures visual similarity. Such a metric is not known, which explains the limited success of gradient penalties in stabilizing GANs. We argue that the performance of GANs is instead due to the implicit competitive regularization (ICR) arising from the simultaneous optimization of generator and discriminator. ICR promotes solutions that look real to the discriminator and thus leverages its inductive biases to generate realistic images. We show that opponent-aware modelling of generator and discriminator, as present in competitive gradient descent (CGD), can significantly strengthen ICR and thus stabilize GAN training without explicit regularization. In our experiments, we use an existing implementation of WGAN-GP and show that by training it with CGD we can improve the inception score (IS) on CIFAR10 for a wide range of scenarios, without any hyperparameter tuning. The highest IS is obtained by combining CGD with the WGAN-loss, without any explicit regularization.

연구 동기 및 목표

• GAN의 널리 퍼진 최소최대 해석, 즉 최적의 판별기 하에서 특정 발산을 통해 GAN 성공을 설명하는 데 도전한다.
• 최소최대 접근법의 근본적인 결함을 규명한다: 정규성 조건이 없을 경우, 판별기는 눈에 띄지 않는 생성기 오차를 악용해 최대 손실를 달성할 수 있으며, 이는 생성기 품질 비교에 있어 발산을 의미 없게 만든다.
• 암묵적 경쟁 정규화(implicit competitive regularization, ICR)—동시 훈련 과정에서 발생하는 동적이고 탄생하는 효과—가 GAN 성능의 진정한 원동력임을 제안한다.
• 상대방 인식 훈련 방법인 경쟁적 경사하강법(competitive gradient descent, CGD)이 ICR를 크게 강화함으로써, 명시적 정규화 없이도 훈련 안정성과 이미지 품질 향상이 가능함을 보여준다.
• 실증적으로 CGD를 사용한 WGAN-GP 손실은 하이퍼파ram터 조정 없이도 표준 Adam 기반 훈련보다 더 높은 inception 점수와 FID를 달성함을 검증한다.

제안 방법

• 생성자와 판별기의 동시에 최적화되는 과정에서 발생하는 안정된 훈련 포인트를 생성하는 메커니즘으로 암묵적 경쟁 정규화(implicit competitive regularization, ICR)를 도입한다.
• ICR를 경쟁적 상호작용으로 인해 발생하는 안정된 훈련 역학으로 공식화하며, 국소 네시 균형이 아닌, GAN 다이레마를 극복하는 데 필수적임을 주장한다.
• 상대방의 최적화 역학을 명시적으로 모델링함으로써 ICR를 강화하는 훈련 알고리즘인 경쟁적 경사하강법(competitive gradient descent, CGD)을 사용한다.
• 기존의 포화된 GAN 손실을 사용한 WGAN-GP에 CGD를 적용함으로써, 기울기 페널티와 가중치 감쇠를 회피함으로써 ICR의 영향을 고립시킨다.
• inception 점수(IS)와 프리셰트 인ception 거리(Frechet Inception Distance, FID)를 사용하여, CIFAR10에서 CGD와 표준 Adam 기반 훈련 간 성능을 평가한다.
• OGAN과 WGAN-GP에서의 추상화 연구를 통해, 다양한 정규화 조건(정규화 없음, ℓ2 가중치 감쇠 포함) 하에서 CGD의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 왜 명시적 정규화가 없음에도 불구하고 GAN은 잘 일반화되는가? 그리고 왜 일반적인 발산은 그 성공을 설명하지 못하는가?
• RQ2 정적 최소최대 목표를 넘어서, 생성자와 판별기 간의 동적 상호작용이 GAN 성능을 설명할 수 있는가?
• RQ3 암묵적 경쟁 정규화(implicit competitive regularization, ICR)는 동시 훈련 과정에서 탄생하는가? 그리고 명시적 정규화 없이도 GAN을 안정화시킬 수 있는가?
• RQ4 상대방 인식 최적화 방법인 CGD가 ICR를 증폭시켜, 표준 최적화보다 더 나은 GAN 훈련 결과를 이끌 수 있는가?
• RQ5 CGD 기반 훈련에서 명시적 정규화가 없더라도, Adam 기반 WGAN-GP와 같은 표준 방법보다 뛰어난 이미지 품질을 달성할 수 있는가?

주요 결과

• 기울기 페널티나 가중치 감쇠 없이도, WGAN-GP에 경쟁적 경사하강법(CGD)을 적용한 결과, 테스트된 모든 조합 중에서 CIFAR10에서 가장 높은 inception 점수를 기록하였다.
• CGD의 성능 향상은 다양한 지표에서 일관되게 나타났으며, 프리셰트 인ception 거리(Frechet Inception Distance, FID) 역시 뚜렷이 낮아져 더 나은 이미지 품질을 확인했다.
• 기존의 포화된 GAN 손실을 사용한 상황에서 Adam은 완전히 실패하는 반면, CGD는 안정적으로 유지되며 inception 점수에서도 Adam을 앞섰다.
• ACGD(가속된 CGD)는 모든 모델과 반복 횟수에서 Adam보다 체계적으로 성능 향상을 보였으며, 극단적인 경우(예: 정규화 없이 OGAN)를 제외하고는 거의 수렴하지 못하는 경우가 있었다.
• ACGD와 Adam 간의 inception 점수 차이는 훈련 전반에 걸쳐 항상 양수를 유지하였으며, 이는 ACGD가 항상 Adam을 능가하며 드물게 뒤지지 않는다는 것을 의미한다.
• 결과적으로, CGD에 의해 강화된 암묵적 경쟁 정규화(implicit competitive regularization, ICR)가 GAN 성공의 핵심 요소임을 입증하였으며, 이는 명시적 발산이나 정규화의 선택보다도 동시 훈련의 역학이 더 중요하다는 것을 시사한다.