[論文レビュー] Lyapunov Functions for First-Order Methods: Tight Automated Convergence Guarantees

Adrien Taylor, Bryan Van Scoy+1 more|arXiv (Cornell University)|Mar 16, 2018

Advanced Optimization Algorithms Research参考文献 12被引用数 12

ひとこと要約

本稿では、1次最適化手法の線形収束速度を証明するためのタイトな二次形式のリャプノフ関数を自動生成するための半定値計画法（SDP）に基づく手法を提示する。性能評価問題と積分二次制約を凸包あふれによる補間を用いて統合することで、二次形式のリャプノフ関数によって証明可能な最速の収束速度を特定する。SDPの可解性は、このような関数の存在にとって必要かつ十分である。

ABSTRACT

We present a novel way of generating Lyapunov functions for proving linear convergence rates of first-order optimization methods. Our approach provably obtains the fastest linear convergence rate that can be verified by a quadratic Lyapunov function (with given states), and only relies on solving a small-sized semidefinite program. Our approach combines the advantages of performance estimation problems (PEP, due to Drori & Teboulle (2014)) and integral quadratic constraints (IQC, due to Lessard et al. (2016)), and relies on convex interpolation (due to Taylor et al. (2017c;b)).

研究の動機と目的

• 1次最適化手法の線形収束速度を証明する二次形式リャプノフ関数を自動生成する手法を開発すること。
• 2つの既存の最悪ケース解析フレームワーク、性能評価問題（PEP）と積分二次制約（IQC）を統合すること。
• 生成されたリャプノフ関数が、二次形式で確認可能な最小の収束速度を達成することを保証すること。
• 小型の半定値計画問題（SDP）を解くことで計算的に効率的なアプローチを提供すること。
• このようなリャプノフ関数の存在について、必要かつ十分な枠組みを確立すること。

提案手法

• 本手法は、与えられた1次最適化手法に対して、二次形式リャプノフ関数の存在を決定づける半定値計画問題（SDP）を定式化する。
• 滑らかで強く凸な関数の凸包あふれによる補間を活用し、問題の構造をリャプノフ関数設計に組み込む。
• PEPとIQCの長所を統合的に活用するため、両者を統一されたSDPフレームワークに組み込む。
• リャプノフ関数は、プライム反復、勾配、関数値を含む状態ベクトル上で定義され、各反復で幾何的にエネルギーが減少する。
• SDPは、リャプノフ関数が各ステップで最大ρ²の割合で減少することを検証するように構築される。ここでρは収束速度である。
• 本手法は小型のSDPとして実装され、効率的な計算とタイトな収束保証を両立する。

実験結果

リサーチクエスチョン

• RQ1 体系的かつ自動化された手法によって、二次形式リャプノフ関数を用いて、可能な限りタイトな線形収束速度の証明を生成できるか？
• RQ2 性能評価問題（PEP）と積分二次制約（IQC）を、1次最適化手法の最悪ケース解析のための統一されたフレームワークに統合する方法は何か？
• RQ3 与えられた1次最適化手法に対して、二次形式リャプノフ関数の存在を検証できる最小の半定値計画問題は何か？
• RQ4 提案されたSDP定式化が、このようなリャプノフ関数の存在について、必要かつ十分であるようにできるか？
• RQ5 本手法は、スケジュールされたリスタートを伴う高速勾配法（FGM）のような実用的かつ典型的な手法に対しても有効か？

主な発見

• 提案されたSDP定式化は、二次形式リャプノフ関数の存在について必要かつ十分であり、収束保証のタイトさを保証する。
• 本手法は、与えられた状態ベクトルを用いた任意の二次形式リャプノフ関数で確認可能な最速の線形収束速度を達成する。
• スケジュールされたリスタートを伴う高速勾配法（FGM）に対して、勾配評価回数の最悪ケースがO(−1/log ρ)として計算され、既知の理論的境界と一致する。
• 数値結果から、正確なラインサーチを伴う勾配法が、(κ−1)/(κ+1)の最悪ケース収束速度を達成することが示され、先行研究と整合的である。
• 本手法は、トリプルモーメンタム法やロバストモーメンタム法の解析にも成功し、標準的手法を超えた広範な適用可能性を示している。
• ステップサイズが時間的に変化する手法、例えばリスタート付きFGMに対しても、状態ベクトルにリスタート状態を追加することで、自動収束解析が可能になる。