[論文レビュー] An $O(s^r)$-Resolution ODE Framework for Understanding Discrete-Time Algorithms and Applications to the Linear Convergence of Minimax Problems

Haihao Lu|arXiv (Cornell University)|Jan 23, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用数 4

ひとこと要約

本稿は、離散時間アルゴリズム（DTA）を分析するための $O(s^r)$-解像度 ODE フレームワークを導入し、DTA から ODE を体系的に導出する方法を提供するとともに、それらの収束性を対応する ODE の収束性と結びつける。$O(s^r)$-解像度 ODE が適切なエネルギー関数に関して線形収束するならば、元の DTA も線形収束することを確立し、非凸非凹最小最大化問題における PPM と EGM のより広い範囲での線形収束を示すためにフレームワークを応用した。

ABSTRACT

There has been a long history of using ordinary differential equations (ODEs) to understand the dynamics of discrete-time algorithms (DTAs). Surprisingly, there are still two fundamental and unanswered questions: (i) it is unclear how to obtain a \emph{suitable} ODE from a given DTA, and (ii) it is unclear the connection between the convergence of a DTA and its corresponding ODEs. In this paper, we propose a new machinery -- an $O(s^r)$-resolution ODE framework -- for analyzing the behavior of a generic DTA, which (partially) answers the above two questions. The framework contains three steps: 1. To obtain a suitable ODE from a given DTA, we define a hierarchy of $O(s^r)$-resolution ODEs of a DTA parameterized by the degree $r$, where $s$ is the step-size of the DTA. We present a principal approach to construct the unique $O(s^r)$-resolution ODEs from a DTA; 2. To analyze the resulting ODE, we propose the $O(s^r)$-linear-convergence condition of a DTA with respect to an energy function, under which the $O(s^r)$-resolution ODE converges linearly to an optimal solution; 3. To bridge the convergence properties of a DTA and its corresponding ODEs, we define the properness of an energy function and show that the linear convergence of the $O(s^r)$-resolution ODE with respect to a proper energy function can automatically guarantee the linear convergence of the DTA. To better illustrate this machinery, we utilize it to study three classic algorithms -- gradient descent ascent (GDA), proximal point method (PPM) and extra-gradient method (EGM) -- for solving the unconstrained minimax problem $\min_{x\in\RR^n} \max_{y\in \RR^m} L(x,y)$.

研究の動機と目的

• ODE を用いた DTA 分析における2つの根本的未解決問題を解決すること：(1) 給与された DTA から適切な ODE を体系的に導出する方法、(2) DTA の収束をその対応する ODE の収束と結びつける方法。
• 更新ルールを $O(s^r)$-次数項まで拡張することで、DTA の本質的ダイナミクスを捉える、原理的で高次解像度の ODE フレームワークを提供すること。
• $O(s^r)$-解像度 ODE が線形収束する条件を確立し、エネルギー関数が適切である場合にその収束が元の DTA の線形収束を示すことの根拠を示すこと。
• GDA、PPM、EGM といった古典的最小最大化アルゴリズムにフレームワークを適用し、それらの収束行動に関する新たな知見を提供するとともに、既知の収束領域を拡張すること。

提案手法

• DTA の $r$ 階 ODE 展開を提案し、ステップサイズ $s$ と解像度次数 $r$ でパラメータ化された一意な $O(s^r)$-解像度 ODE を構築することで、離散的ダイナミクスの高次近似を可能にする。
• $O(s^r)$-線形収束条件を、選択されたエネルギー関数に関して定義し、ODE が最適解へ線形収束することを保証する。
• 「適切な」エネルギー関数の概念を導入し、$O(s^r)$-解像度 ODE が線形収束する場合に、元の DTA も線形収束することを保証する。
• テイラー展開と行列解析を用いてエネルギー減少の境界を導出し、十分に小さいステップサイズでは、高次余剰項が線形収束を妨げないことを示した。
• 一般化されたブロック歪対称行列を用いて、エネルギー減少における余剰項を分析し、特に $s = O(1/ ho)$ の高速率収束において有効である。
• GDA、PPM、EGM の $O(s)$-解像度 ODE を比較し、双線形設定において相互作用項が収束に与える影響を明らかにした—PPM/EGM では促進するが、GDA では悪影響を及ぼす。

実験結果

リサーチクエスチョン

• RQ1 与えられた離散時間アルゴリズムから、異なる連続極限による曖昧さを避ける、一意的で意味のある ODE を体系的に導出する方法は何か？
• RQ2 ODE が線形収束するための条件は何か？ そして、それらの条件は元の離散アルゴリズムの収束行動とどのように結びつけることができるか？
• RQ3 なぜ PPM と EGM は非凸非凹最小最大化問題においても広い範囲で線形収束を示すのに対し、GDA は双線形ケースで失敗するのか？
• RQ4 ODE フレームワークを用いて、既存手法間の ODE 構造の差異を分析することで、新しい最適化アルゴリズムを設計できるか？
• RQ5 $O(s^r)$-解像度 ODE の収束が、元の DTA の収束を保証する条件は何か？

主な発見

• GDA、PPM、EGM の $O(s)$-解像度 ODE は、双線形最小最大化問題におけるそれらの発散または収束行動を説明し、PPM と EGM の相互作用項が収束を促進する一方で、GDA では悪影響を及ぼすことを示した。
• $O(s)$-線形収束条件は、PPM と EGM の既知の収束領域を統一的かつ拡張し、非凸非凹設定でも線形収束を証明した。
• 二次最小最大化問題では EGM が高速線形レート（$s = O(1/ ho)$）を達成するが、一般問題ではテイラー展開におけるより複雑な余剰項のため、遅いレートとなる。
• フレームワークにより、$O(s^r)$-解像度 ODE が適切なエネルギー関数に関して線形収束するならば、元の DTA も線形収束することを証明し、連続的・離散的解析の橋渡しを実現した。
• エネルギー減少解析における余剰項が $O(s^2)$ で有界であることが示され、高速率条件下では、それらが減少率に最大で定数倍（2倍）の寄与を示した。
• フレームワークにより、ODE 構造の比較を通じたアルゴリズム設計が可能になった。GDA と PPM/EGM の $O(s)$-解像度 ODE の差異を分析することで、GDA をより良い収束行動に改善する方法が明らかになった。