[논문 리뷰] A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints

Guodong Zhang, Xuchan Bao외 2명|arXiv (Cornell University)|2020. 09. 23.

Sparse and Compressive Sensing Techniques참고 문헌 67인용 수 12

한 줄 요약

이 논문은 적분 평방 제약 조건(IQC)을 사용하여 부드러운 게임에서의 1차 방법을 분석하는 통합 프레임워크를 제안한다. 이는 날카러운 수렴 속도 경계의 자동 유도를 가능하게 하며, 음의 동량 방법에 대해 O(κ^1.5)의 첫 번째 전역 수렴 속도를 확립하고, 기존의 알려진 하한선과 일치시키며, 시간 변화하는 설정에서 2차 라파노프 함수를 사용한 경사하강법의 최적 수렴성을 증명한다.

ABSTRACT

The theory of integral quadratic constraints (IQCs) allows the certification of exponential convergence of interconnected systems containing nonlinear or uncertain elements. In this work, we adapt the IQC theory to study first-order methods for smooth and strongly-monotone games and show how to design tailored quadratic constraints to get tight upper bounds of convergence rates. Using this framework, we recover the existing bound for the gradient method~(GD), derive sharper bounds for the proximal point method~(PPM) and optimistic gradient method~(OG), and provide \emph{for the first time} a global convergence rate for the negative momentum method~(NM) with an iteration complexity $\mathcal{O}(κ^{1.5})$, which matches its known lower bound. In addition, for time-varying systems, we prove that the gradient method with optimal step size achieves the fastest provable worst-case convergence rate with quadratic Lyapunov functions. Finally, we further extend our analysis to stochastic games and study the impact of multiplicative noise on different algorithms. We show that it is impossible for an algorithm with one step of memory to achieve acceleration if it only queries the gradient once per batch (in contrast with the stochastic strongly-convex optimization setting, where such acceleration has been demonstrated). However, we exhibit an algorithm which achieves acceleration with two gradient queries per batch.

연구 동기 및 목표

• 부드럽고 강하게 단조로운 게임에서 1차 방법의 수렴을 체계적이고 자동화된 프레임워크로 분석하는 것.
• 제어 이론 기반의 IQC 이론을 활용하여 사례별 라파노프 함수 설계의 한계를 극복하는 것.
• GD, PPM, OG, NM와 같은 기존 알고리즘의 날카러운, 증명 가능한 수렴 속도를 도출하는 것.
• 스토하스틱 설정으로의 분석 확장과 다중성 노이즈가 가속화에 미치는 영향을 조사하는 것.
• 스토하스틱 게임에서 배치당 한 번 또는 두 번의 기울기 쿼리로 가속화가 가능한지 여부를 규명하는 것.

제안 방법

• 비선형 또는 불확실한 성분을 가진 동적 시스템에서 피드백 상호연결으로 1차 최적화 알고리즘을 모델링한다.
• 게임의 연산자의 단조성과 부드러움 성질을 기술하기 위해 적분 평방 제약 조건(IQC)을 적용한다.
• 점별 및 섹터 기반의 IQC를 사용하여 게임의 기울기 매핑의 비선형성을 모델링한다.
• 수렴 분석을 작은 정수형 프로그래밍(SDP) 문제로 환원하여 경계의 기계적이고 자동화된 유도를 가능하게 한다.
• 시간 변화하는 시스템과 다중성 노이즈가 있는 스토하스틱 설정으로 프레임워크를 확장한다.
• IQC 기반 안정성 분석을 통해 라파노프 함수를 구성함으로써 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 제어 이론적 도구를 사용하여 부드러운 게임에서 1차 방법의 수렴 속도를 분석하는 통합적이고 자동화된 프레임워크를 개발할 수 있는가?
• RQ2 부드럽고 강하게 단조로운 게임에서 음의 동량 방법에 대해 가능한 가장 날카로운 수렴 속도는 무엇인가?
• RQ3 배치당 한 개의 기울기 쿼리로만 스토하스틱 게임에서 가속화를 달성할 수 있는가?
• RQ4 단계 크기와 동량 파라미터의 선택이 시간 변화하는 시스템에서 수렴에 미치는 영향은 무엇인가?
• RQ5 IQC 프레임워크를 다중성 노이즈를 가진 스토하스틱 알고리즘을 분석하는 데로 확장할 수 있는가?

주요 결과

• 논문은 음의 동량 방법에 대해 O(κ^1.5)의 첫 번째 전역 수렴 속도를 도출하였으며, 이는 기존 알려진 하한선과 정확히 일치한다.
• 프레임워크는 2×2 정수형 프로그래밍을 통해 기존의 경사하강법 수렴 속도를 회복하였으며, 해석적 해를 제공한다.
• 선형점법과 옵timistic 경사하강법에 대해 이전 연구보다 더 날카로운 수렴 경계를 도출하였다.
• 시간 변화하는 시스템에서는 최적 단계 크기를 사용한 경사하강법이 2차 라파노프 함수를 사용할 때 가장 빠른 증명 가능한 최악의 경우 수렴 속도를 달성한다.
• 스토하스틱 게임에서는 한 번의 기울기 쿼리로는 가속화를 달성할 수 없지만, 두 번의 쿼리로는 가속화가 가능하다.
• IQC 기반 분석은 작은 SDP를 통해 기계적으로 수렴 경계를 도출할 수 있게 하여, 특수한 라파노프 함수 설계를 피한다.