[논문 리뷰] ODE Analysis of Stochastic Gradient Methods with Optimism and Anchoring for Minimax Problems and GANs

Ernest K. Ryu, Kun Yuan외 1명|arXiv (Cornell University)|2019. 09. 25.

Stochastic Gradient Optimization Techniques참고 문헌 70인용 수 15

한 줄 요약

이 논문은 최소최대 문제와 GANs에서의 확률적 경사하강법을 일반선형미분방정식(OED) 모델을 사용하여 분석하며, 조정 가능한 낙관도 비율을 가진 낙관적 simGD와 锚정 simGD를 제안한다. 두 방법 모두 확률적 하위미분 하에서 최종 반복자 수렴성을 확립하여, GANs와 볼록-볼록 최소최대 게임에서의 학습 역학에 대한 이론적 이해를 확장한다.

ABSTRACT

Despite remarkable empirical success, the training dynamics of generative adversarial networks (GAN), which involves solving a minimax game using stochastic gradients, is still poorly understood. In this work, we analyze last-iterate convergence of simultaneous gradient descent (simGD) and its variants under the assumption of convex-concavity, guided by a continuous-time analysis with differential equations. First, we show that simGD, as is, converges with stochastic sub-gradients under strict convexity in the primal variable. Second, we generalize optimistic simGD to accommodate an optimism rate separate from the learning rate and show its convergence with full gradients. Finally, we present anchored simGD, a new method, and show convergence with stochastic subgradients.

연구 동기 및 목표

• 확률적 경사하강법을 사용하는 최소최대 설정에서 학습 동역학을 이해하기 위해, 이론적 이해가 제한된 GANs의 학습 동역학을 이해하고자 한다.
• 스토캐스틱 및 비볼록 설정에서 동기적 경사하강법(simGD)의 수렴 보장을 위한 부족을 해결하고자 한다.
• 수렴 행동을 향상시키기 위해 새로운 simGD 변형—낙관적 simGD와 锚정 simGD—을 개발하고 분석하고자 한다.
• 볼록-볼록 가정 하에 확률적 하위미분 하에서 최종 반복자 수렴성을 확립하여, 이전 결과에서 요구한 전부의 기울기와는 다를 수 있는 결과를 확장하고자 한다.

제안 방법

• 최소최대 문제에서의 확률적 경사하강법의 역학을 기반으로 연속시간 ODE 분석을 사용한다.
• 학습률과 별도로 낙관도 비율을 가지는 일반화된 낙관적 simGD를 도입하여 안정성과 수렴성을 향상시킨다.
• 고정된 안카포인트를 통합하여 학습을 안정화하고 수렴성을 향상시키는 새로운 방법인 锚정 simGD를 제안한다.
• 볼록-볼록 가정 하에 리아푸노프 함수와 미분방정식 근사법을 사용하여 수렴성을 분석한다.
• 완전한 기울기와 확률적 하위기울기 양쪽 모두에 적용하여 더 현실적인 스토캐스틱 설정으로 결과를 확장한다.
• 엄격한 볼록성 조건 하에 최소한의 가정으로도 최종 반복자 수렴성을 확립한다.

실험 결과

연구 질문

• RQ1 볼록-볼록 가정 하에 확률적 하위기울기 하에서 표준 simGD는 수렴하는가?
• RQ2 낙관적 simGD에서 낙관도를 학습률에서 분리하여 수렴성과 안정성을 향상시킬 수 있는가?
• RQ3 새로운 방법인 锚정 simGD는 확률적 하위기울기 하에서 최종 반복자 수렴성을 달성하는가?
• RQ4 ODE 기반 모델은 최소최대 문제에서의 확률적 경사하강법의 학습 동역학을 정확히 포착하는가?
• RQ5 스토캐스틱 최소최대 최적화에서 최종 반복자의 수렴을 보장하는 조건은 무엇인가?

주요 결과

• 원천 변수에 대해 엄격한 볼록성을 가진 경우, 확률적 하위기울기 하에서 표준 simGD는 수렴하며, 이는 스토캐스틱 설정으로의 수렴 보장을 확장한다.
• 학습률과 별도로 낙관도 비율을 가지는 낙관적 simGD는 전부의 기울기 하에서 수렴하며, 안정성과 수렴 성능 향상을 입증한다.
• 锚정 simGD는 새로운 방법으로 제안되었으며, 확률적 하위기울기 하에서 수렴성이 입증되어 표준 simGD에 대한 강력한 대안을 제공한다.
• ODE 기반 분석은 확률적 경사하강법의 동역학을 성공적으로 포착하여, GAN 학습에서 관찰된 행동에 대한 이론적 근거를 제공한다.
• 최종 반복자 수렴성이 약한 가정 하에 확립되었으며, 이는 비볼록 설정에서 평균 반복자 수렴성보다 더 강력한 보장을 제공한다.
• 결과는 GAN 학습 및 최소최대 문제 해결에서 낙관적 및 锚정 변형의 경험적 성공에 대한 이론적 지원을 제공한다.