[논문 리뷰] Revisiting Stochastic Extragradient

Konstantin Mishchenko, Dmitry Kovalev외 3명|arXiv (Cornell University)|2019. 05. 27.

Model Reduction and Neural Networks참고 문헌 20인용 수 17

한 줄 요약

이 논문은 이중선형 문제에서 이전 방법들인 Mirror-Prox의 근본적인 발산 문제를 해결하기 위해 더 나은 음성 업데이트 근사화를 통해 수렴 안정성을 높이는 새로운 확률적 외거산 방법을 제안한다. 이 방법은 사鞍점 문제에서 더 빠른 수렴을 달성하고, GAN 훈련에서도 잠재적인 성능 향상을 보이며, 높은 반복 비용으로 인해 데이터 효율성 측면에선 성과가 제한된다.

ABSTRACT

We fix a fundamental issue in the stochastic extragradient method by providing a new sampling strategy that is motivated by approximating implicit updates. Since the existing stochastic extragradient algorithm, called Mirror-Prox, of (Juditsky et al., 2011) diverges on a simple bilinear problem when the domain is not bounded, we prove guarantees for solving variational inequality that go beyond existing settings. Furthermore, we illustrate numerically that the proposed variant converges faster than many other methods on bilinear saddle-point problems. We also discuss how extragradient can be applied to training Generative Adversarial Networks (GANs) and how it compares to other methods. Our experiments on GANs demonstrate that the introduced approach may make the training faster in terms of data passes, while its higher iteration complexity makes the advantage smaller.

연구 동기 및 목표

• 영역이 유계가 아닐 때 확률적 외거산 방법(Mirror-Prox)이 이중선형 문제에서 근본적인 발산 문제를 보이는 이유를 해결하기 위해.
• 암시적 업데이트를 더 잘 근사하는 새로운 샘플링 전략을 개발하여 안정성과 수렴성을 향상시키기 위해.
• 기존 연구보다 더 넓은 설정에서 확률적 외거산의 수렴 보장을 제공하기 위해.
• 이중선형 사鞍점 문제와 생성적 적대적 네트워크(GANs) 훈련에서의 성능 평가를 위해.
• 외거산 업데이트에서 모멘텀 변형이 수렴 동역학에 미치는 영향을 탐색하기 위해.

제안 방법

• 확률적 외거산에서 암시적 업데이트의 근사화를 향상시켜 이전 방법의 열악한 분산 처리 문제를 피하는 새로운 샘플링 전략을 도입한다.
• 이중 단계 업데이트를 사용: 먼저 확률적 그래디언트를 사용해 예측된 외거산 점을 계산하고, 그 다음 두 번째 그래디언트 단계를 통해 반복을 업데이트한다.
• 첫 번째 단계에선 양의 모멘텀을, 두 번째 단계에선 음의 모멘텀을 사용하여 근사 오차를 보정하는 모멘텀 변형을 적용한다.
• 이중선형 문제에서 업데이트 행렬의 스펙트럼 반경을 분석하여 모멘텀 선택을 안내한다.
• 표준 및 조건부 GAN 설정 모두에서 GAN 훈련에 이 방법을 적용하고, Adam 및 Optimistic Mirror Descent와 비교한다.
• 공정한 비교를 위해 한 번의 ExtraAdam 반복을 두 번의 그래디언트 계산으로 간주하는 이중 그래디언트 계산 모델을 사용한다.

실험 결과

연구 질문

• RQ1 기존 Mirror-Prox 방법이 비유계 이중선형 문제에서 왜 발산하는가? 그리고 이를 어떻게 수정할 수 있는가?
• RQ2 확률적 외거산을 위한 새로운 샘플링 전략이 암시적 업데이트의 근사화를 향상시키고 수렴을 보장할 수 있는가?
• RQ3 GAN 훈련에서 제안된 방법이 수렴 속도와 안정성 측면에서 Optimistic Mirror Descent 및 Adam보다 어떻게 비교되는가?
• RQ4 모멘텀은 외거산 업데이트의 안정성에 어떤 역할을 하는가? 양의 모멘텀과 음의 모멘텀은 어떻게 균형을 맞춰야 하는가?
• RQ5 이 방법의 높은 반복 비용은 데이터 효율적 훈련에서 실용적 이점에 얼마나 제한을 둔다?

주요 결과

• 제안된 확률적 외거산 변형은 이중선형 사鞍점 문제에서 다른 방법들보다 더 빠른 수렴을 보이며 실용적 성능 향상을 입증한다.
• 더 나은 샘플링 전략을 통해 암시적 업데이트를 더 정확히 근사함으로써, 비유계 이중선형 문제에서 Mirror-Prox의 발산 문제를 해결한다.
• 수치 실험 결과, 첫 번째 단계에 양의 모멘텀, 두 번째 단계에 음의 모멘텀을 사용할 경우 수렴 속도와 안정성이 향상됨을 확인했다.
• GAN 훈련에서는 데이터 통과 수 측면에서 더 빠른 수렴을 달성하지만, 높은 반복 비용으로 인해 Adam에 비해 전체적인 이점이 감소한다.
• 이중선형 문제에서 두 번째 단계의 최적 음의 모멘텀 값은 다양한 학습률에서 일관되게 약 -0.3에 가까운 것으로 나타났다.
• 스펙트럼 반경 분석을 통해 첫 번째 단계에서 양의 모멘텀을 사용할 경우 표준 외거산(모멘텀 없음) 대비 곱셈적 속도 향상을 제공할 수 있음을 확인했다.