[論文レビュー] Non-ergodic Convergence Analysis of Heavy-Ball Algorithms

Tao Sun, Penghang Yin+4 more|arXiv (Cornell University)|Nov 5, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用数 6

ひとこと要約

本稿は、重み付き勾配法（Heavy-ball）の非収束解析の第一例を提示し、凸かつ強制的関数に対して$O(1/k)$の非線形収束速度を確立した。また、緩い強い凸性条件の下では線形収束を示した。本手法は、修正された2階微分方程式に基づく新しいリャプノフ関数を用い、従来の研究と比較してステップサイズおよび慣性パラメータに関する仮定を弱くした、よりタイトな複雑度バウンドを可能にした。

ABSTRACT

In this paper, we revisit the convergence of the Heavy-ball method, and present improved convergence complexity results in the convex setting. We provide the first non-ergodic O(1/k) rate result of the Heavy-ball algorithm with constant step size for coercive objective functions. For objective functions satisfying a relaxed strongly convex condition, the linear convergence is established under weaker assumptions on the step size and inertial parameter than made in the existing literature. We extend our results to multi-block version of the algorithm with both the cyclic and stochastic update rules. In addition, our results can also be extended to decentralized optimization, where the ergodic analysis is not applicable.

研究の動機と目的

• 収束解析におけるHeavy-ball法のギャップを埋めるために、収束率がより実用的である非収束収束レートを確立すること。
• より弱い凸性条件の下で、線形収束領域におけるステップサイズおよび慣性パラメータに関する仮定を緩和すること。
• サイクル的および確率的更新ルールを用いた多ブロック変種に対し、非収束解析を拡張すること。
• 収束解析が非収束平均化に依存するため、収束解析が不適切となる分散型最適化設定への適用を可能にすること。
• 修正された2階微分方程式に基づく新しいリャプノフ関数を提案し、よりタイトな収束証明を可能にすること。

提案手法

• 修正された2階常微分方程式にインspiredされた新しいリャプノフ関数を提案し、$\|\ddot{x}(t)\| \leq \theta \|\dot{x}(t)\|$という制約を組み込む。
• リャプノフ関数を用いて、目的関数誤差$f(x^k) - \min f$の減少を抑える再帰不等式を導出する。
• リャプノフ関数を用いて、定数ステップサイズ下での強制的かつ凸関数に対して$O(1/k)$収束を証明する。
• 緩い強い凸性条件の下で、従来の研究と比較してステップサイズおよび慣性パラメータに関する仮定を弱くした線形収束を確立する。
• ブロック単位のリャプノフ解析を用いて、サイクル的および確率的更新ルールを用いた多ブロックHeavy-ballへの解析を拡張する。
• 収束平均化が不適切な分散型Heavy-ballに適応するため、非収束収束に依存するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 定数ステップサイズ下で、凸設定下のHeavy-ball法に対して非収束$O(1/k)$収束速度を確立できるか？
• RQ2 目的関数が緩い強い凸性条件を満たす場合、ステップサイズおよび慣性パラメータに関する仮定をより弱くした線形収束を証明できるか？
• RQ3 サイクル的および確率的更新ルールを用いた多ブロックHeavy-ballに対し、非収束収束解析を拡張できるか？
• RQ4 収束平均化が不適切な分散型最適化設定に、提案されたフレームワークを適用できるか？
• RQ5 修正された力学系に基づく新規リャプノフ関数は、既存の手法と比較して、収束バウンドをどのように改善するか？

主な発見

• 本稿は、定数ステップサイズ下で、凸かつ強制的関数の設定において、Heavy-ball法の非収束$O(1/k)$収束速度を初めて確立した。
• 従来の収束解析と比較して、ステップサイズおよび慣性パラメータに関する仮定を弱くした条件下で収束が達成された。
• 緩い強い凸性条件の下で線形収束が証明され、既存の文献と比較して、ステップサイズおよび慣性パラメータの許容範囲が広がった。
• サイクル的更新ルールを用いた多ブロックHeavy-ball法は非線形収束を達成し、同じ緩い条件の下で確率的更新ルールでは線形収束を達成した。
• 収束平均化が不適切な分散型Heavy-ballに対しても、非収束収束が確立された。
• 数値実験により、$\beta \in [0.3, 0.4]$の範囲で大きな慣性パラメータが、サイクル的更新下での線形回帰およびロジスティック回帰タスクの収束を加速することが確認されたが、確率的設定ではブロックの再利用頻度が低いため、その利点は薄れることが分かった。