[논문 리뷰] Adaptive extra-gradient methods for min-max optimization and games

Kimon Antonakopoulos, Veronica Belmega외 1명|arXiv (Cornell University)|2020. 10. 22.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 8

한 줄 요약

이 논문은 문제의 미세함을 사전에 조정 없이 자동으로 조정하는 적응형 초과경사 방법인 AdaProx를 소개한다. Finsler 미터릭과 적응형 단계 크기를 갖춘 미러-프록시 템플릿을 활용하여, 부드러운 문제에서는 𝒪(1/T), 비부드러운 문제에서는 𝒪(1/√T)의 순서 최적 수렴 속도를 달성한다. 이는 리프시츠 또는 유계성 가정 없이도, 유계가 아니거나 특이성이 있는 조건에서도 성립한다.

ABSTRACT

We present a new family of min-max optimization algorithms that automatically exploit the geometry of the gradient data observed at earlier iterations to perform more informative extra-gradient steps in later ones. Thanks to this adaptation mechanism, the proposed method automatically detects whether the problem is smooth or not, without requiring any prior tuning by the optimizer. As a result, the algorithm simultaneously achieves order-optimal convergence rates, i.e., it converges to an $\varepsilon$-optimal solution within $\mathcal{O}(1/\varepsilon)$ iterations in smooth problems, and within $\mathcal{O}(1/\varepsilon^2)$ iterations in non-smooth ones. Importantly, these guarantees do not require any of the standard boundedness or Lipschitz continuity conditions that are typically assumed in the literature; in particular, they apply even to problems with singularities (such as resource allocation problems and the like). This adaptation is achieved through the use of a geometric apparatus based on Finsler metrics and a suitably chosen mirror-prox template that allows us to derive sharp convergence rates for the methods at hand.

연구 동기 및 목표

• 문제의 부드러움에 대한 사전 지식 없이도 최적 수렴 속도를 달성하는 데 도전한다.
• 리프시츠 상수나 도메인 직경과 같은 매개변수의 사전 조정이 필요한 기존 방법의 한계를 극복한다.
• 관측된 경사도 데이터를 활용해 문제의 국소 기하학에 자동으로 적응하는 알고리즘을 개발한다.
• 유계가 아니거나 자원 배분 및 게임 이론 문제에서 흔한 특이성이 있는 경우에도 더 약한 가정 하에 수렴을 보장한다.
• 특히 비단조화적인 설정에서 평균화에 의존하지 않고도 마지막 반복값의 수렴 보장을 제공한다.

제안 방법

• 문제의 경사도 구조 내 국소 기하학과 특이성을 포착하기 위해 Finsler 미터릭 프레임워크를 도입한다.
• Rakhlin & Sridharan(2013)의 영감을 받은 적응형 단계 크기를 갖춘 미러-프록시 템플릿을 적용하여 부드러움에 자동으로 적응한다.
• 두 에포크 업데이트를 사용한다: 중간 반복값 $X_{t+1/2}$를 통한 예측 단계와 $X_{t+1}$를 통한 보정 단계.
• 진전을 측정하기 위해 Bregman 발산 $D(x,y)$를 사용하여 해 집합 향한 안정성과 수렴을 보장한다.
• Fenchel의 부등식과 Finsler 노름의 성질을 활용해 수렴 한계를 유도하여 정밀한 속도 보장을 이룬다.
• 마지막 반복값 수렴을 확립하기 위해 새로운 수치 부등식(보조정리 F.1)을 활용하여 보편적인 성능을 가능하게 한다.

실험 결과

연구 질문

• RQ1 초과경사 방법이 문제의 부드러움에 대한 사전 지식 없이도 부드럽고 비부드러운 최소-최대 문제에서 순서 최적 수렴 속도를 달성할 수 있는가?
• RQ2 리프시츠 연속성 또는 유계성 조건 없이도, 유계가 아니거나 특이성이 있는 조건에서도 수렴이 가능한가?
• RQ3 부드러움을 자동으로 탐지하고 이를 바탕으로 단계 크기를 조정하는 적응형 단계 크기 정책을 설계할 수 있는가?
• RQ4 특히 비단조화적이거나 복잡한 게임 설정에서 평균화에 의존하지 않고도 알고리즘의 마지막 반복값이 수렴할 수 있는가?
• RQ5 Finsler 미터릭을 사용할 경우, 표준 유클리드 또는 Bregman 기반 접근법에 비해 수렴 보장이 어떻게 향상되는가?

주요 결과

• AdaProx는 부드러운 최소-최대 문제에서 𝒪(1/T) 수렴 속도를 달성하고, 비부드러운 문제에서는 𝒪(1/√T)를 달성하여 이론적 하한선과 일치한다.
• 문제의 부드러움 모듈러스, 리프시츠 상수 또는 도메인 직경에 대한 사전 지식 없이도 수렴이 보장된다.
• 특이성이나 무한 도메인을 포함한 문제에서도 표준 가정이 실패하는 경우에도 수렴이 보장된다.
• 알고리즘은 (MS) 조건 하에서 마지막 반복값 수렴을 보장하여, Polyak–Ruppert 평균화의 실용적 대안을 제공한다.
• 수렴 분석은 표준 노름보다 문제의 국소 기하학을 더 효과적으로 포착하는 새로운 Finsler 미터릭 기반 프레임워크에 기반한다.
• Fenchel 유형 부등식과 수치 수열 보조정리(F.1)로부터 유도된 적응형 단계 크기 정책 덕분에, 다양한 문제 유형에서 보편적인 성능을 달성한다.