[논문 리뷰] An $O(s^r)$-Resolution ODE Framework for Understanding Discrete-Time Algorithms and Applications to the Linear Convergence of Minimax Problems

Haihao Lu|arXiv (Cornell University)|2020. 01. 23.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 이산 시간 알고리즘(DTA)을 분석하기 위해 $O(s^r)$-해상도 미분방정식(ODE) 프레임워크를 제안한다. 이는 주어진 DTA로부터 적절한 ODE를 체계적으로 유도하고, 해당 DTA의 수렴성과 그에 대응하는 ODE의 수렴성을 연결하는 방법을 제공한다. 이 프레임워크는 적절한 에너지 함수에 대해 $O(s^r)$-해상도 ODE의 선형 수렴성을 확보할 경우 원래 DTA의 선형 수렴성이 보장됨을 증명하며, 비볼록-비볼록 최소화 문제에서 PPM과 EGM의 더 넓은 범위의 선형 수렴성을 입증하는 데 응용된다.

ABSTRACT

There has been a long history of using ordinary differential equations (ODEs) to understand the dynamics of discrete-time algorithms (DTAs). Surprisingly, there are still two fundamental and unanswered questions: (i) it is unclear how to obtain a \emph{suitable} ODE from a given DTA, and (ii) it is unclear the connection between the convergence of a DTA and its corresponding ODEs. In this paper, we propose a new machinery -- an $O(s^r)$-resolution ODE framework -- for analyzing the behavior of a generic DTA, which (partially) answers the above two questions. The framework contains three steps: 1. To obtain a suitable ODE from a given DTA, we define a hierarchy of $O(s^r)$-resolution ODEs of a DTA parameterized by the degree $r$, where $s$ is the step-size of the DTA. We present a principal approach to construct the unique $O(s^r)$-resolution ODEs from a DTA; 2. To analyze the resulting ODE, we propose the $O(s^r)$-linear-convergence condition of a DTA with respect to an energy function, under which the $O(s^r)$-resolution ODE converges linearly to an optimal solution; 3. To bridge the convergence properties of a DTA and its corresponding ODEs, we define the properness of an energy function and show that the linear convergence of the $O(s^r)$-resolution ODE with respect to a proper energy function can automatically guarantee the linear convergence of the DTA. To better illustrate this machinery, we utilize it to study three classic algorithms -- gradient descent ascent (GDA), proximal point method (PPM) and extra-gradient method (EGM) -- for solving the unconstrained minimax problem $\min_{x\in\RR^n} \max_{y\in \RR^m} L(x,y)$.

연구 동기 및 목표

• ODE를 사용하여 DTA를 분석할 때 발생하는 두 가지 기본적인 미해결 문제를 해결하기 위해: (1) 주어진 DTA로부터 적절한 ODE를 체계적으로 유도하는 방법, (2) DTA의 수렴성과 그에 대응하는 ODE의 수렴성 간의 연결 고리 확립.
• 단계별로 업데이트 규칙을 $O(s^r)$-차수 항까지 확장함으로써 DTA의 본질적 역학을 포착하는 원칙적인 고차수 해상도 ODE 프레임워크를 제공.
• 해당 $O(s^r)$-해상도 ODE가 선형으로 수렴하는 조건을 설정하고, 이러한 수렴성이 적절한 에너지 함수를 갖는 경우 원래 DTA의 선형 수렴성을 암시함을 보여줌.
• 기존의 최소화 알고리즘—GDA, PPM, EGM—에 프레임워크를 적용하여 그들의 수렴 행동에 대한 새로운 통찰을 제공하고, 기존의 수렴 영역을 확장함.

제안 방법

• 주어진 DTA에 대해 $r$-차수 ODE 전개를 제안하여 단일한 $O(s^r)$-해상도 ODE를 구성함. 이는 단계 크기 $s$와 해상도 차수 $r$로 매개변수화되며, 이산 동역학의 고차수 근사 가능성을 제공함.
• 선택된 에너지 함수에 대해 $O(s^r)$-선형수렴 조건을 정의하여 ODE가 최적 해로 선형 수렴하도록 보장함.
• 원래 DTA의 선형 수렴이 보장되는 조건을 제공하기 위해 '적절한' 에너지 함수 개념을 도입함. 이 조건 하에서 $O(s^r)$-해상도 ODE의 선형 수렴성은 원래 DTA의 선형 수렴성으로 이어짐.
• 테일러 전개와 행렬 분석을 활용하여 에너지 감소 상한을 도출함. 이는 충분히 작은 단계 크기에서 고차수 잔여항이 선형 수렴을 방해하지 않음을 보여줌.
• 일반화된 블록 왜도대칭 행렬을 사용하여 에너지 감소에서의 잔여항을 분석함. 특히 $s = O(1/ ho)$ 조건에서의 빠른 수렴 속도에 대해 유리함.
• GDA, PPM, EGM의 $O(s)$-해상도 ODE를 비교함으로써 상호작용 항이 수렴성에 미치는 영향을 분석함—이러한 항들은 PPM/EGM에서는 수렴을 촉진하지만 GDA에서는 해로운 영향을 미침.

실험 결과

연구 질문

• RQ1 어떻게 주어진 이산 시간 알고리즘으로부터 모호성이 없는 유일하고 의미 있는 ODE를 체계적으로 도출할 수 있는가? (다양한 연속 근사에 의한 모호함 방지)
• RQ2 ODE에 대해 어떤 조건이 선형 수렴을 보장하며, 이러한 조건은 원래 이산 알고리즘의 수렴 행동과 어떻게 연결될 수 있는가?
• RQ3 왜 PPM과 EGM은 비볼록-비볼록 최소화 문제에서 더 넓은 범위에서 선형 수렴을 보이는가? 반면 GDA는 이차형 설정에서 실패하는가?
• RQ4 기존 방법 간의 ODE 구조 차이를 분석함으로써 ODE 프레임워크를 새로운 최적화 알고리즘 설계에 활용할 수 있는가?
• RQ5 어떤 조건에서 $O(s^r)$-해상도 ODE의 수렴성이 원래 DTA의 수렴성을 보장하는가?

주요 결과

• GDA, PPM, EGM의 $O(s)$-해상도 ODE는 이차형 최소화 문제에서의 발산 또는 수렴 행동을 설명하며, PPM과 EGM의 상호작용 항은 수렴을 촉진하는 반면 GDA에는 해로운 영향을 미침.
• $O(s)$-선형수렴 조건은 기존 PPM과 EGM의 수렴 영역을 통합하고 확장하며, 비볼록-비볼록 설정에서도 선형 수렴이 성립함을 증명함.
• 이차형 최소화 문제에서는 EGM이 빠른 선형 수렴 속도($s = O(1/ ho)$)를 달성하지만, 일반 문제에서는 테일러 전개에서 더 복잡한 잔여항으로 인해 느린 수렴 속도를 보임.
• 이 프레임워크는 $O(s^r)$-해상도 ODE가 적절한 에너지 함수에 대해 선형 수렴할 경우 원래 DTA도 선형 수렴함을 증명하며, 연속적 분석과 이산적 분석 간의 다리를 놓음.
• 에너지 감소 분석에서의 잔여항은 $O(s^2)$로 유계임을 입증하였고, 빠른 수렴 조건 하에서는 감소 속도에 최대 상수 요인 2를 기여함.
• ODE 구조 비교를 통한 알고리즘 설계가 가능해짐. GDA의 $O(s)$-해상도 ODE와 PPM/EGM의 차이를 분석함으로써 GDA를 개선하여 더 나은 수렴 행동을 달성하는 방법을 밝힘.