[論文レビュー] A Unified Analysis of Stochastic Optimization Methods Using Jump System Theory and Quadratic Constraints

Bin Hu, Peter Seiler+1 more|arXiv (Cornell University)|Jun 25, 2017

Stochastic Gradient Optimization Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、SAGA、Finito、SDCA などの確率的最適化手法をジャンプシステム理論と二次的制約を用いて統一的に分析するフレームワークを提示する。これらの手法を線形ジャンプシステムと静的非線形性の相互接続としてモデル化することで、個々の凸性の有無にかかわらず線形収束レートを証明するための線形行列不等式（LMI）条件を導出し、SAGA、Finito、SDCA に対して新たな収束境界を解析的に証明する。

ABSTRACT

We develop a simple routine unifying the analysis of several important recently-developed stochastic optimization methods including SAGA, Finito, and stochastic dual coordinate ascent (SDCA). First, we show an intrinsic connection between stochastic optimization methods and dynamic jump systems, and propose a general jump system model for stochastic optimization methods. Our proposed model recovers SAGA, SDCA, Finito, and SAG as special cases. Then we combine jump system theory with several simple quadratic inequalities to derive sufficient conditions for convergence rate certifications of the proposed jump system model under various assumptions (with or without individual convexity, etc). The derived conditions are linear matrix inequalities (LMIs) whose sizes roughly scale with the size of the training set. We make use of the symmetry in the stochastic optimization methods and reduce these LMIs to some equivalent small LMIs whose sizes are at most 3 by 3. We solve these small LMIs to provide analytical proofs of new convergence rates for SAGA, Finito and SDCA (with or without individual convexity). We also explain why our proposed LMI fails in analyzing SAG. We reveal a key difference between SAG and other methods, and briefly discuss how to extend our LMI analysis for SAG. An advantage of our approach is that the proposed analysis can be automated for a large class of stochastic methods under various assumptions (with or without individual convexity, etc).

研究の動機と目的

• SAGA、Finito、SDCA などの最近の確率的勾配型手法の収束解析を、個別ケースごとの証明に依存せず統一的に扱う。
• SAG、SAGA、Finito、SDCA を特別な場合として含む、これらの手法のダイナミクスを捉える一般化されたジャンプシステムモデルを構築する。
• ジャンプシステム理論と単純な二次的制約を用いて、さまざまな仮定（例えば、個々の凸性の有無）のもとで線形収束レートを保証するLMIの十分条件を導出する。
• 得られた小さなLMI（最大3×3）を解析的に解き、SAGA、Finito、SDCA の新たな収束レートを証明する。
• 提案されたLMIフレームワークがSAGを解析できない理由を説明し、より高度な二次的不等式を用いた拡張を提示する。

提案手法

• 確率的最適化手法のダイナミクスを、定常線形システムと静的非線形性の相互接続として表す一般化されたジャンプシステムモデルを提案する。ここでジャンプパラメータは、有限和における個々の関数の確率的選択を表す。
• ジャンプシステムのリャプノフ理論を用いて、最適化反復の線形収束を保証する線形行列不等式（LMI）条件を導出する。
• 二次的制約を組み込んで、滑らかさや強い凸性といった関数の性質を特徴づけ、Lipschitz定数L や強い凸性パラメータm といった問題パラメータに依存するLMI条件を定式化する。
• 確率的手法に内在する対称性を活用し、大規模なLMIを最大3×3の小さなLMIに縮小し、解析的解法を可能にする。
• 統一されたLMI条件を適用して、SAGA、Finito、SDCA の収束レート証明を、個々の凸性の有無を含むさまざまな仮定のもとで導出する。
• SAGと他の手法との間の根本的な構造的差異を特定：SAGは凸性を表現するためにより複雑な二次的制約を必要とし、現行のフレームワークではこれを捉えられない。これに伴い、より高度な不等式を用いた拡張を提案する。

実験結果

リサーチクエスチョン

• RQ1 SAGA、Finito、SDCA などの複数の確率的勾配型手法を、1つの解析的手法で統一的に収束性を分析できるフレームワークを開発可能か？
• RQ2 ジャンプシステム理論と二次的制約をどのように組み合わせて、確率的最適化のLMIベースの収束条件を導出できるか？
• RQ3 なぜ提案されたLMIフレームワークはSAGの解析に失敗するのか？SAGに特有の構造的差異は何か？
• RQ4 提案されたフレームワークは、成分関数の個々の凸性を仮定しない状況でも、SAGA、Finito、SDCA の新たな収束レート境界を導出可能か？
• RQ5 LMI解析をどの程度自動化または準自動化できるか？Lyapunov関数や証明の構築を支援するか？

主な発見

• 提案されたジャンプシステムモデルにより、SAG、SAGA、Finito、SDCA が特別な場合として統一的に扱えるようになり、これらの手法の共通の動的フレームワークが提供される。
• LMI条件による線形収束の保証は、学習セットサイズに応じてスケーラブルであり、対称性を活用することで最大3×3の小さなLMIに縮小可能で、解析的解法が可能となる。
• SAGAについて、個々の凸性を仮定しない場合、ε-最適な反復回数の複雑度は Õ((L²/m² + n) log(1/ε)) であることを証明する。
• Finitoについて、個々の凸性を仮定せず、n ≥ 48L²/m² の条件下では、ε-最適な複雑度が Õ(n log(1/ε)) に達する。
• 解析により、SAGA、Finito、SDCA よりも凸性の表現に複雑な二次的制約を必要とするため、SAGは現在のLMIフレームワークでは解析不能であることが明らかになった。
• 本フレームワークは、反復的かつ準自動化可能な収束解析のアプローチを提供し、数値的LMI解法が解析的Lyapunov関数や不等式の構築を支援する。