[논문 리뷰] Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes

Qi Lei, Sai Ganesh Nagarajan외 2명|arXiv (Cornell University)|2020. 02. 17.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 14

한 줄 요약

이 논문은 볼록-볼록 최소화-최대화 문제에서 옴니식 승법 가중치 업데이트(OMWU)의 국소적 마지막 반복 수렴성을 확립한다. 이는 이전 연구들이 이중선형 케이스에만 적용된 바가 있었음을 고려할 때, 이를 확장한 결과이다. 이 방법은 노레그 온라인 학습에 기반하여, 추가적인 기울기 단계나 비온라인 정보 없이도 안정적인 점별 수렴을 달성하며, 수렴 안정성과 하이퍼파rameter 민감도 면에서 표준 방법보다 뛰어나다.

ABSTRACT

In a recent series of papers it has been established that variants of Gradient Descent/Ascent and Mirror Descent exhibit last iterate convergence in convex-concave zero-sum games. Specifically, \cite{DISZ17, LiangS18} show last iterate convergence of the so called "Optimistic Gradient Descent/Ascent" for the case of extit{unconstrained} min-max optimization. Moreover, in \cite{Metal} the authors show that Mirror Descent with an extra gradient step displays last iterate convergence for convex-concave problems (both constrained and unconstrained), though their algorithm does not follow the online learning framework; it uses extra information rather than extit{only} the history to compute the next iteration. In this work, we show that "Optimistic Multiplicative-Weights Update (OMWU)" which follows the no-regret online learning framework, exhibits last iterate convergence locally for convex-concave games, generalizing the results of \cite{DP19} where last iterate convergence of OMWU was shown only for the extit{bilinear case}. We complement our results with experiments that indicate fast convergence of the method.

연구 동기 및 목표

• OMWU의 볼록-볼록 최소화-최대화 최적화에서의 마지막 반복 수렴성을 확립하여, 이전 연구들이 이중선형 설정에 국한되었던 결과를 넘어서는 것.
• OMWU를 노레그 온라인 학습 프레임워크 내에서 분석하여, 업데이트에 과거 데이터만을 사용함을 보장하는 것.
• 제약 조건이 있는 볼록-볼록 경관에서 OMWU가 안정적이고 점별 수렴을 달성하는 것을 입증하는 것.
• OMWU를 투영된 옴니식 기울기 강하법(OGDA)과 실증적으로 비교하여 학습률과 초기화에 대한 강건성에 대해 강조하는 것.

제안 방법

• OMWU는 엔트로피 정규화를 적용한 온라인 학습 알고리즘으로서, 과거 기울기와 다음 단계의 옴니식 예측을 기반으로 업데이트 전략을 결정한다.
• 알고리즘은 수렴 안정성을 높이기 위해 앞서가는 항을 포함한 예측 기반 업데이트 규칙을 사용한다.
• 수렴은 볼록-볼록 설정에서 OMWU 동역학의 고정점 주변의 국소 분석을 통해 증명된다.
• 이 방법은 단형태 제약 조건을 따르며, 훈련 전반에 걸쳐 반복값이 확률 단형태 내에 유지됨을 보장한다.
• 실험에서는 다양한 문제 크기와 학습률에서 수렴 속도와 안정성을 측정하기 위해 KL 발산과 l1 오차를 사용한다.
• 비교 실험에는 동일 조건에서 강건성과 수렴 속도를 평가하기 위해 투영된 OGDA가 포함된다.

실험 결과

연구 질문

• RQ1 OMWU는 이중선형 케이스를 초월하여 볼록-볼록 최소화-최대화 문제에서 마지막 반복 수렴을 보여주는가?
• RQ2 OMWU의 수렴 행동은 학습률과 초기화에 대해 투영된 OGDA와 비교해 볼 때 어떤가?
• RQ3 문제 크기와 학습률은 OMWU의 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ4 추가 기울기 정보나 비온라인 업데이트 없이도 OMWU는 전역 수렴을 달성할 수 있는가?

주요 결과

• OMWU는 볼록-볼록 최소화-최대화 문제에서 국소적 마지막 반복 수렴을 달성하며, 이는 이전 연구들이 이중선형 함수에 국한되었던 결과를 일반화한 것이다.
• 실험 결과, OMWU는 다양한 문제 크기(n = 25에서 250까지)와 학습률(η ∈ {0.01, 0.1, 1.0, 10.0})에서 전역적이고 안정적인 수렴을 보였다.
• OMWU는 투영된 OGDA보다 학습률 선택에 덜 민감하며, 큰 단계 크기에서는 발산하고 작은 경우에는 느리게 진행되는 경향을 보이는 OGDA와 대비된다.
• 모든 테스트 설정에서 KL 발산이 단조롭게 감소하여 평형점으로의 안정적 수렴을 나타낸다.
• 10개의 랜덤 초기화에서 알고리즘이 낮은 분산을 유지하며, 그림의 색칠된 영역은 좁은 표준편차를 나타낸다.
• 저차원 볼록-볼록 예제에서는 OMWU 궤적의 경우 평형점으로 명확하게 수렴하는 경향을 보이며, 안정적이고 예측 가능한 동역학을 확인한다.