[논문 리뷰] Negative Momentum for Improved Game Dynamics

Gauthier Gidel, Reyhane Askari Hemmat외 5명|arXiv (Cornell University)|2018. 07. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 39인용 수 23

한 줄 요약

이 논문은 GAN과 같은 미분 가능한 게임 학습을 위해 교대 그래디언트 하강법에 음의 동량을 제안하여 학습을 안정화하고 수렴성을 향상시킨다. 교대 갱신과 음의 동량을 조합함으로써, 이 방법은 이차형 게임에서 선형 수렴을 달성하며, 포화 GAN에서 표준 방법보다 뛰어난 성능을 보이며, 양의 또는 영동량을 사용하는 전통적 접근법을 능가한다.

ABSTRACT

Games generalize the single-objective optimization paradigm by introducing different objective functions for different players. Differentiable games often proceed by simultaneous or alternating gradient updates. In machine learning, games are gaining new importance through formulations like generative adversarial networks (GANs) and actor-critic systems. However, compared to single-objective optimization, game dynamics are more complex and less understood. In this paper, we analyze gradient-based methods with momentum on simple games. We prove that alternating updates are more stable than simultaneous updates. Next, we show both theoretically and empirically that alternating gradient updates with a negative momentum term achieves convergence in a difficult toy adversarial problem, but also on the notoriously difficult to train saturating GANs.

연구 동기 및 목표

• 미분 가능한 게임(예: GAN)의 학습에서 발생하는 불안정성과 수렴 불가 문제를 기울기 기반 방법을 통해 해결하기 위해.
• 동량과 갱신 순서(동시 대비 교대)가 적대적 게임에서 수렴에 미치는 영향을 조사하기 위해.
• 교대 갱신에서 음의 동량이 역학을 안정화하고 어려운 설정에서 수렴을 가능하게 함을 보여주기 위해.
• 제안된 방법에 대해 이론적 보장과 실험적 검증을 통해 만화형 및 실제 GAN 벤치마크에서의 성능을 제공하기 위해.

제안 방법

• 적대적 게임에서의 진동 행동을 억제하기 위해 교대 그래디언트 갱신에 음의 동량 항을 사용한다.
• 이차형 게임 수식 min_θ max_φ θᵀAφ에 기반한 선형 안정성 분석을 통해 방법의 역학을 분석한다.
• 다양한 동량 값에서 시스템의 자코비안 행렬의 고유값을 분석함으로써 수렴 조건을 도출한다.
• 동량 역학을 모델링하기 위해 상태 증강 형식을 적용하고, 유도된 선형 연산자의 대각화 가능성을 증명한다.
• 스펙트럼 반경 분석을 활용하여 수렴 속도를 경계하고, 음의 동량 하에서 지수 감소를 보여준다.
• 합성 이차형 게임과 포화 손실 함수를 가진 실제 GAN에 대해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 교대 그래디언트 갱신에서 음의 동량이 미분 가능한 게임에서 수렴을 안정화하고 가속화할 수 있는가?
• RQ2 왜 양의 또는 영동량 값은 이차형 게임에서 수렴하지 못하는 반면, 음의 동량은 성공하는가?
• RQ3 동시 갱신 대비 교대 갱신을 선택할 경우, 동량을 적용했을 때 수렴에 어떤 영향을 미치는가?
• RQ4 왜 음의 동량이 자코비안 고유값의 허수부가 큰 게임에서 局부 수렴을 향상시키는가?
• RQ5 실제 GAN, 특히 포화 손실 함수를 가진 경우에서 음의 동량이 학습 안정성과 수렴을 향상시키는가?

주요 결과

• 교대 갱신에서 음의 동량은 이차형 게임에서 선형 수렴을 달성하지만, 양의 또는 영동량은 수렴하지 못한다.
• 수렴 속도가 O(Δ₀(1 - η²σ²_min(A)/16)^t)로 경계되며, 최적값으로의 지수 감소가 관찰된다.
• 동시 갱신에서는 심지어 음의 동량도 수렴하지 못하며, 스펙트럼 반경이 1을 초과하기 때문이다.
• 이론적 분석에 따르면, 자코비안 고유값의 허수가 큰 경우 음의 동량이 안정성을 향상시켜 진동적 발산을 감소시킨다.
• 실험 결과는 음의 동량이 전형적으로 어려운 포화 GAN에서 수렴을 가능하게 하며, 만화형 설정과 실제 데이터셋 모두에서 이를 확인한다.
• 표준 방법(양의 또는 영동량)보다 성능이 뛰어나며, 특히 기존에 수렴하지 못하는 설정에서 두각을 나타낸다.