[논문 리뷰] Optimistic mirror descent in saddle-point problems: Going the extra (gradient) mile

Panayotis Mertikopoulos, Bruno Lecouat외 4명|arXiv (Cornell University)|2018. 07. 07.

Advanced Numerical Methods in Computational Mathematics참고 문헌 3인용 수 111

한 줄 요약

이 논문은 일관성(coherence)을 통해 정의된 비단조(non-monotone) 안장점 문제에 대한 미러 디센트(mirror descent)를 분석하고, 추가-그래디언트(extra-gradient) 단계가 있는 기대적 미러 디센트(optimistic mirror descent, OMD)를 도입하며, 수렴성 결과를 증명하고 GAN 및 기타 모델에서 이득을 실험적으로 검증한다.

ABSTRACT

Owing to their connection with generative adversarial networks (GANs), saddle-point problems have recently attracted considerable interest in machine learning and beyond. By necessity, most theoretical guarantees revolve around convex-concave (or even linear) problems; however, making theoretical inroads towards efficient GAN training depends crucially on moving beyond this classic framework. To make piecemeal progress along these lines, we analyze the behavior of mirror descent (MD) in a class of non-monotone problems whose solutions coincide with those of a naturally associated variational inequality - a property which we call coherence. We first show that ordinary, "vanilla" MD converges under a strict version of this condition, but not otherwise; in particular, it may fail to converge even in bilinear models with a unique solution. We then show that this deficiency is mitigated by optimism: by taking an "extra-gradient" step, optimistic mirror descent (OMD) converges in all coherent problems. Our analysis generalizes and extends the results of Daskalakis et al. (2018) for optimistic gradient descent (OGD) in bilinear problems, and makes concrete headway for establishing convergence beyond convex-concave games. We also provide stochastic analogues of these results, and we validate our analysis by numerical experiments in a wide array of GAN models (including Gaussian mixture models, as well as the CelebA and CIFAR-10 datasets).

연구 동기 및 목표

• Variational inequality와의 일관성이 성립하는 비단조 안장점 문제에서 일반적인 미러 디센트의 한계를 동기 부여하고 분석한다.
• 수렴성을 안정화하고 보장하기 위해 추가-그래디언트 단계가 포함된 기대적 미러 디센트(OMD)를 도입한다.
• 엄밀하게 일관된(coherence) 및 확률적(stochastic) 설정에서 OMD의 수렴 보장을 확립한다.
• 다중 데이터셋에 대한 GAN 관련 실험을 통해 이론의 확률적 유사성을 제공하고 검증한다.

제안 방법

• 모델링은 변수 x=(x1,x2)인 differentiable objective f를 통해 안장점 문제를 기술한다.
• g(x)=(∇x1 f(x1,x2), -∇x2 f(x1,x2))와 관련 VI와의 일관성을 연구한다.
• Mirror descent(MD)을 위한 Bregman 거리 및 prox 매핑을 정의하기 위해 거리생성 함수 h를 사용한다.
• vanilla MD가 null-coherent한 경우에도 수렴하지 않거나 진동할 수 있음을 보여준다.
• 추가-그래디언트 단계로 OMD를 도입한다: 중간점 x+를 계산한 후 g(x+)를 사용하여 업데이트한다.
• 수렴 결과를 증명한다: coherence 하의 OMD에서 D(x*,Xn)의 단조 수렴; 확률적 엄밀일관 설정에서의 거의 확실한 수렴; 이합/볼록-쌍대의 경우에 대한 보편적 결과.

실험 결과

연구 질문

• RQ1 vanilla 미러 디센트가 비단조적이면서도 일관된 안장점 문제에서 언제 수렴하는가?
• RQ2 추가-그래디언트(기대적) 단계가 MD를 안정시켜 일관되거나 엄밀하게 일관된 설정에서 수렴을 보장할 수 있는가?
• RQ3 확률적 안장점 문제에서 OMD의 수렴 보장은 무엇인가?
• RQ4 이론적 이득이 GAN 훈련 및 다른 비-볼록 이중선형 또는 다중모드 설정에서 실제 개선으로 이어지는가?
• RQ5 coherence의 성질(엄밀 vs null)이 MD와 OMD의 동작에 어떤 영향을 미치는가?

주요 결과

• vanilla MD는 null-coherent(예: 이중선형) 문제에서 수렴하지 못하거나 고유 해가 있어도 진동할 수 있다.
• 추가-그래디언트 단계가 있는 OMD는 모든 일관된 문제에서 수렴을 보장하며, null-coherent인 경우를 포함하고, 해에 대한 Bregman 거리의 단조 감소를 생성한다.
• 엄밀하게 일관된 문제에서 OMD는 확률적 설정에서 해에 거의 확실하게 수렴하고 해에 대한 Bregman 거리가 단조롭게 감소한다.
• 이차원 이중선형 문제의 경우 OMD는 단조로운 수렴을 보장하나 일반 MD는 발산할 수 있다.
• 실험에서 Adam 또는 RMSProp에 추가-그래디언트 단계를 도입하면 GAN의 사이클링과 진동이 감소하고 CelebA 및 CIFAR-10에서 Inception 점수와 프레셰 거리(Frechet distance)가 향상된다.