[논문 리뷰] Solving Weakly-Convex-Weakly-Concave Saddle-Point Problems as Successive Strongly Monotone Variational Inequalities

Qihang Lin, Mingrui Liu외 2명|arXiv (Cornell University)|2018. 10. 24.

Sparse and Compressive Sensing Techniques인용 수 10

한 줄 요약

이 논문은 약한 볼록-약한 볼록형 최소최대 문제를 해결하기 위한 새로운 알고리즘 프레임워크를 제안한다. 이 방법은 비정확한 프록시멀 포인트 접근을 통해 연속적으로 강하게 단조인 변분부등식을 푸는 방식으로 작동하며, 거의 정적해에 비현상적 수렴을 보장한다. 이는 표준 하위알고리즘을 사용하여 복잡도 경계가 보장되는 비볼록-비볼록형 사 saddle-point 문제에 대해 처음으로 이러한 보장을 제공한다.

ABSTRACT

In this paper, we consider first-order algorithms for solving a class of non-convex non-concave min-max saddle-point problems, whose objective function is weakly convex (resp. weakly concave) in terms of the variable of minimization (resp. maximization). It has many important applications in machine learning, statistics, and operations research. One such example that attracts tremendous attention recently in machine learning is training Generative Adversarial Networks. We propose an algorithmic framework motivated by the inexact proximal point method, which solves the weakly monotone variational inequality corresponding to the original min-max problem by approximately solving a sequence of strongly monotone variational inequalities constructed by adding a strongly monotone mapping to the original gradient mapping. In this sequence, each strongly monotone variational inequality is defined with a proximal center that is updated using the approximate solution of the previous variational inequality. Our algorithm generates a sequence of solution that provably converges to a nearly stationary solution of the original min-max problem. The proposed framework is flexible because various subroutines can be employed for solving the strongly monotone variational inequalities. The overall computational complexities of our methods are established when the employed subroutines are subgradient method, stochastic subgradient method, gradient descent method and Nesterov's accelerated method and variance reduction methods for a Lipschitz continuous operator. To the best of our knowledge, this is the first work that establishes the non-asymptotic convergence to a nearly stationary point of a non-convex non-concave min-max problem.

연구 동기 및 목표

• 기계학습, 통계학, 운영연구 분야에서 나타나는 비볼록-비볼록형 최소최대 문제를 해결하는 데 도전하는 것.
• 비현상적 복잡도 경계를 보장하는 약한 볼록-약한 볼록형 사 saddle-point 문제에 대해 증명 가능하게 수렴하는 1차 알고리즘을 개발하는 것.
• 약한 단조성의 변분부등식에 대해 프록시멀 포인트 방법을 일반화하기 위해 강하게 단조인 하위문제의 수열을 구성하는 것.
• 다양한 최적화 하위알고리즘(예: 경사하강법, 네스테로프의 방법 등)을 통합할 수 있는 융통성 있는 프레임워크를 제공하는 것.

제안 방법

• 원래의 약한 단조성의 변분부등식에 프록시멀 정규화 항을 추가하여 강하게 단조인 변분부등식의 수열로 재구성하는 방식.
• 각 하위문제는 선택된 하위알고리즘을 사용해 근사적으로 풀며, 이전 근사해를 기반으로 프록시멀 중심을 업데이트하는 방식.
• 프록시멀 중심을 반복적으로 업데이트함으로써 원래 문제의 정적해로 향하는 내림차순과 수렴을 보장하는 방식.
• 하위문제를 풀이하는 데 있어 비정확성을 허용하면서도 전역 수렴 보장을 유지하는 방식.
• 정적 및 확률적 1차 방법 모두와 호환되며, 하향기울기, 확률적 하향기울기, 경사하강법, 네스테로프의 가속 방법, 분산 감소 기법 등이 포함된다.
• 복잡도 분석을 가능하게 하기 위해 리프시츠 연속 연산자를 다룰 수 있도록 설계됨.

실험 결과

연구 질문

• RQ1 1차 방법을 사용하여 약한 볼록-약한 볼록형 최소최대 문제에 대해 거의 정적해로의 비현상적 수렴을 달성할 수 있는가?
• RQ2 비단조성 또는 약한 단조성의 변분부등식에 대해 프록시멀 포인트 방법을 비볼록-비볼록 설정에서 어떻게 일반화할 수 있는가?
• RQ3 기본 하위알고리즘(예: 경사하강법, 네스테로프의 방법 등)을 사용할 경우 이러한 문제의 계산 복잡도는 어떻게 되는가?
• RQ4 하위문제의 근사해를 允許하면서도 수렴 보장을 유지할 수 있는가?
• RQ5 프록시멀 중심 업데이트는 비볼록 최소최대 문제에서 수렴의 안정성과 가속화에 어떤 역할을 하는가?

주요 결과

• 제안된 프레임워크는 원래의 약한 볼록-약한 볼록형 최소최대 문제에 대해 거의 정적해로의 비현상적 수렴을 달성한다.
• 모든 표준 1차 하위알고리즘(하향기울기, 확률적 하향기울기, 경사하강법, 네스테로프의 가속 방법, 분산 감소 기법 포함)에 대해 계산 복잡도 경계를 확립한다.
• 이 프레임워크는 복잡도가 보장되는 비볼록-비볼록형 최소최대 문제에 대해 처음으로 비현상적 수렴 보장을 제공한다.
• 적응형 프록시멀 중심을 사용하는 약간 근사된 강하게 단조인 변분부등식의 수열을 통해 수렴을 달성한다.
• 유연하고 모듈러한 접근 방식으로 기존의 모든 1차 방법을 하위알고리즘으로 통합할 수 있다.
• 이론적 분석은 연산자의 리프시츠 연속성 조건 하에서 수렴을 확인하며, 이는 GAN 훈련과 같은 실제 문제에 넓은 적용 가능성을 보장한다.