[論文レビュー] A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints

Guodong Zhang, Xuchan Bao+2 more|arXiv (Cornell University)|Sep 23, 2020

Sparse and Compressive Sensing Techniques参考文献 67被引用数 12

ひとこと要約

本稿は、積分二次制約（IQCs）を用いた統一的なフレームワークを導入し、滑らかなゲームにおける一次順序法の分析を可能にした。これにより、タイトな収束速度の境界の自動導出が可能になった。負のモーメンタム法の最初のグローバル収束速度O(κ^1.5)を確立し、既知の下界と一致させ、時間変動する設定における二次のリャプノフ関数を用いた勾配法の最適収束性を証明した。

ABSTRACT

The theory of integral quadratic constraints (IQCs) allows the certification of exponential convergence of interconnected systems containing nonlinear or uncertain elements. In this work, we adapt the IQC theory to study first-order methods for smooth and strongly-monotone games and show how to design tailored quadratic constraints to get tight upper bounds of convergence rates. Using this framework, we recover the existing bound for the gradient method~(GD), derive sharper bounds for the proximal point method~(PPM) and optimistic gradient method~(OG), and provide \emph{for the first time} a global convergence rate for the negative momentum method~(NM) with an iteration complexity $\mathcal{O}(κ^{1.5})$, which matches its known lower bound. In addition, for time-varying systems, we prove that the gradient method with optimal step size achieves the fastest provable worst-case convergence rate with quadratic Lyapunov functions. Finally, we further extend our analysis to stochastic games and study the impact of multiplicative noise on different algorithms. We show that it is impossible for an algorithm with one step of memory to achieve acceleration if it only queries the gradient once per batch (in contrast with the stochastic strongly-convex optimization setting, where such acceleration has been demonstrated). However, we exhibit an algorithm which achieves acceleration with two gradient queries per batch.

研究の動機と目的

• 滑らかで強く単調なゲームにおける一次順序法の収束を体系的かつ自動化されたフレームワークで分析すること。
• 制御理論的IQC理論を活用することで、事例別に設計されるリャプノフ関数の限界を克服すること。
• GD、PPM、OG、NMなどの既存アルゴリズムのタイトで証明可能な収束速度を導出すること。
• 確率的設定への分析の拡張を行い、乗法的ノイズが加速に与える影響を調査すること。
• 確率的ゲームにおいて、バッチごとに1回または2回の勾配クエリでの加速が可能かどうかを特定すること。

提案手法

• 一次順序最適化アルゴリズムを非線形または不確実な要素を含む動的システムにおけるフィードバック相互接続としてモデル化する。
• 積分二次制約（IQCs）を用いて、ゲームの作用素の単調性および滑らかさの性質を特徴付ける。
• 点ごとのIQCsおよびセクタベースのIQCsを用いて、ゲームの勾配写像の非線形性をモデル化する。
• 収束解析を小さな半正定値計画問題（SDPs）の解法に還元し、境界の機械的・自動的導出を可能にする。
• 時間変動系および乗法的ノイズを伴う確率的設定へのフレームワークの拡張。
• IQCsに基づく安定性解析を通じてリャプノフ関数を構築することで、収束保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 制御理論的ツールを用いて、滑らかなゲームにおける一次順序法の収束速度を統一的かつ自動化されたフレームワークで分析できるか？
• RQ2 滑らかで強く単調なゲームにおいて、負のモーメンタム法の可能な限りタイトな収束速度は何か？
• RQ3 バッチごとに1回の勾配クエリでのみ、確率的ゲームで加速を達成できるか？
• RQ4 ステップサイズおよびモーメンタムパラメータの選択が、時間変動系における収束に与える影響は何か？
• RQ5 IQCフレームワークは、乗法的ノイズを伴う確率的アルゴリズムの分析に拡張可能か？

主な発見

• 本稿は、負のモーメンタム法の最初のグローバル収束速度O(κ^1.5)を導出し、既知の下界と一致させた。
• フレームワークは2×2の半正定値計画問題を用いて勾配法の既知の収束速度を回復し、解析的解を得た。
• プロキシマルポイント法およびオピティミスティック勾配法について、先行研究よりも鋭い収束境界が得られた。
• 時間変動系では、最適ステップサイズを用いた勾配法が、二次のリャプノフ関数を用いた場合、最も速い証明可能な最悪ケース収束速度を達成した。
• 確率的ゲームでは、バッチごとに1回の勾配クエリでの加速は不可能であるが、2回のクエリでは加速が可能であることが示された。
• IQCに基づく解析により、小さなSDPsを通じた境界の機械的導出が可能となり、臨機応変なリャプノフ関数設計を回避できた。