[논문 리뷰] First-order Convergence Theory for Weakly-Convex-Weakly-Concave Min-max Problems

Mingrui Liu, Hassan Rafique외 2명|arXiv (Cornell University)|2018. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 51인용 수 21

한 줄 요약

이 논문은 약한 볼록-약한 준연결성 최소최대 문제에 대해, 강한 단조성 변분부등식을 순차적으로 해결하는 비정확한 프락시멀 포인트 프레임워크를 사용하여 1차 수렴 이론을 제안한다. 이는 비차등 수렴 속도를 처음으로 비차등적으로 확립하며, 리프시츠 연속성 하에서 복잡도 한계 Õ(Lρ/ε²)를 제공하여, 이전의 외삽 기반 방법이 ε-정류성에 대해 O(1/ε⁴)의 복잡도가 필요로 하는 것에 비해 크게 향상시킨다.

ABSTRACT

In this paper, we consider first-order convergence theory and algorithms for solving a class of non-convex non-concave min-max saddle-point problems, whose objective function is weakly convex in the variables of minimization and weakly concave in the variables of maximization. It has many important applications in machine learning including training Generative Adversarial Nets (GANs). We propose an algorithmic framework motivated by the inexact proximal point method, where the weakly monotone variational inequality (VI) corresponding to the original min-max problem is solved through approximately solving a sequence of strongly monotone VIs constructed by adding a strongly monotone mapping to the original gradient mapping. We prove first-order convergence to a nearly stationary solution of the original min-max problem of the generic algorithmic framework and establish different rates by employing different algorithms for solving each strongly monotone VI. Experiments verify the convergence theory and also demonstrate the effectiveness of the proposed methods on training GANs.

연구 동기 및 목표

• 목적이 x에 대해 약한 볼록성, y에 대해 약한 준연결성인 최소최대 문제에서 비차등 수렴 보장의 부족을 해결한다.
• 비볼록-비준연결성 설정에서도 거의 ε-정류성 해에 수렴하는 일반적인 알고리즘 프레임워크를 개발한다.
• 다양한 하위문제 해법(스토하스틱 서그리디언트, 경사하강법, 외삽 기반 방법, 네스테로프 가속 방법, 분산 감소 방법 등)을 활용하여 다양한 설정(스토하스틱, 결정론적, 유한합)에서 반복 및 기울기 복잡도 한계를 밀도 있게 유도한다.
• GAN 훈련 및 기타 비볼록 비준연결성 최소최대 문제에서 1차 방법의 효과성에 대한 이론적 근거를 제공한다.

제안 방법

• 원래의 약한 단조성 변분부등식(VI)을 강한 단조성 VI로 재구성하기 위해 강한 단조성 매핑을 추가하는 비정확한 프락시멀 포인트 방법을 제안한다.
• 각 강한 단조성 VI의 해를 원래 문제의 근사 해로 사용하며, 갭과 거리 측정을 통해 수렴성을 분석한다.
• 하위문제 해결을 위해 스토하스틱 서그리디언트, 경사하강법, 외삽 기반 방법, 네스테로프 가속 방법, 분산 감소 방법을 활용하여 각각 다른 복잡도 속도를 도출한다.
• ε-정류성 해를 정의하여, 기울기의 투영된 서그리디언트 노름이 ε 이하로 제한되는 점으로 정의함으로써, 1차 정류점으로의 수렴을 보장한다.
• SVI 갭과 정류성 사이의 격차를 메우기 위해 거의 (ε, cε)-갭 해의 개념을 도입하여 더 엄밀한 복잡도 분석을 가능하게 한다.
• 기울기 매핑의 리프시츠 연속성과 타당 집합의 컴actness를 활용하여 해 갭과 수렴 속도에 대한 균일한 한계를 도출한다.

실험 결과

연구 질문

• RQ1 약한 볼록-약한 준연결성 최소최대 문제에 대해 거의 정류성 해로의 비차등 수렴을 확립할 수 있는가?
• RQ2 다양한 설정(스토하스틱, 결정론적, 유한합)에서 ε-정류성에 도달하기 위한 최적의 반복 또는 기울기 복잡도는 무엇인가?
• RQ3 제안된 비정확한 프락시멀 포인트 프레임워크는 기존 외삽 기반 방법에 비해 수렴 속도에서 어떻게 비교되는가?
• RQ4 이 프레임워크는 이론적 보장을 통해 실세계 문제, 예를 들어 GAN 훈련에 적용될 수 있는가?
• RQ5 비볼록 비준연결성 설정에서 SVI 갭과 정류성 측정치 사이의 관계는 무엇인가?

주요 결과

• 제안된 알고리즘 프레임워크는 리프시츠 연속성 하에서 복잡도 Õ(Lρ/ε²)로 비차등 수렴을 달성하며, 기존 외삽 기반 방법의 O(1/ε⁴) 복잡도에 비해 크게 향상된다.
• 유한합 설정에서 n개의 구성 요소가 있을 경우, 복잡도는 Õ(nρ²/ε² + L²/ε²)이며, 이는 유한합 비볼록 최적화에서 알려진 최고의 속도와 일치한다.
• 스토하스틱 및 결정론적 설정에서는 복잡도가 O(max(ρ⁶, ρ³)/ε⁶)이며, 이는 약한 볼록-약한 준연결성 최소최대 문제에 대해 처음으로 도출된 복잡도 한계이다.
• 이 프레임워크는 ε-정류성 해가 해당 SVI에 대해 εD-gap 해임을 보여주지만, 그 역은 성립하지 않음을 규명하여 정류성과 갭 측정치 사이의 차이를 명확히 한다.
• 실험 결과 이론적 수렴 행동을 확인하고, GAN 훈련에서의 방법의 효과성을 입증하여 이론의 실용적 유용성을 검증한다.
• 분석 결과, 동일한 가정 하에서 기존 외삽 기반 방법이 ε-정류성에 대해 O(1/ε⁴) 복잡도 이하로는 향상될 수 없음을 보여주며, 제안된 프레임워크의 우수성을 입증한다.