[論文レビュー] Global convergence of the Heavy-ball method for convex optimization

Euhanna Ghadimi, Hamid Reza Feyzmahdavian+1 more|arXiv (Cornell University)|Dec 23, 2014

Sparse and Compressive Sensing Techniques参考文献 13被引用数 9

ひとこと要約

本稿は、凸最適化におけるHeavy-ball法のグローバル収束性および収束速度の上限を確立する。リプシッツ連続勾配をもつ凸関数に対しては、反復のセザロ平均が収束速度 𝒪(1/k) で収束する。強い凸関数に対しては、反復は線形に収束する。本研究は、2回微分可能でない関数へも拡張可能な新しい安定性基準を提供し、従来の基準が失敗する場合でも収束を保証する。

ABSTRACT

This paper establishes global convergence and provides global bounds of the convergence rate of the Heavy-ball method for convex optimization problems. When the objective function has Lipschitz-continuous gradient, we show that the Cesaro average of the iterates converges to the optimum at a rate of $O(1/k)$ where k is the number of iterations. When the objective function is also strongly convex, we prove that the Heavy-ball iterates converge linearly to the unique optimum.

研究の動機と目的

• リプシッツ連続勾配をもつ凸最適化問題に対するHeavy-ball法のグローバル収束性を確立すること。
• 目的関数が強い凸性をもつ場合のHeavy-ball法の収束速度を分析すること。
• 2回微分可能でない強い凸関数に対しても収束を保証する新しい安定性基準を提供すること。
• 従来の結果を2回微分可能な場合に限らない範囲へ拡張し、従来の安定性条件が失敗する状況でも成立することを示すこと。
• 非滑らか設定におけるHeavy-ball法の収束特性をネステロフの加速法および勾配降下法と比較すること。

提案手法

• グローバル収束性の証明に、リャプノフ関数のアプローチを用いる。
• 2次リャプノフ関数を構築し、その減少を反復ごとに分析することで収束速度の上限を導出する。
• 関数クラス 𝒮¹,¹_{μ,L}（凸、リプシッツ勾配、強い凸性をもつ）に適用可能な、Heavy-ballのパrameter（ステップサイズ α とモーメンタム β）の新しい安定性基準を導入する。
• 時間変動するステップサイズを用いることで、セザロ平均だけでなく個々の反復に対しても 𝒪(1/k) 収束速度を達成する。
• 数値例を用いて理論的結果を検証し、ポリャクの元来の安定性基準が失敗する反例を提示する。
• 特定のパrameter選択下で収束因子を q = 1 − αμ と推定し、勾配降下法で達成可能な最良のレートと一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 2回微分可能でない凸関数に対して、リプシッツ連続勾配をもつ場合、Heavy-ball法はグローバルに収束するか？
• RQ2 リプシッツ勾配をもつ凸関数の場合、Heavy-ball反復のセザロ平均の収束速度はどの程度保証できるか？
• RQ3 目的関数が強い凸性をもつ場合、Heavy-ball法は線形収束を示すことができるか？ また、どのようなパrameter条件下で成立するか？
• RQ4 新しい安定性基準は、従来の基準と比較して、非滑らか設定においてどのように異なるか？
• RQ5 同じ関数クラスにおいて、Heavy-ball法の収束因子は標準勾配降下法を上回るように改善可能か？

主な発見

• リプシッツ連続勾配をもつ凸関数に対しては、Heavy-ball反復のセザロ平均が最適解へ収束速度 𝒪(1/k) で収束する。
• 目的関数が強い凸性をもつ場合、新しい安定性基準の下で、Heavy-ball反復は一意の最適解へ線形に収束する。
• 提案された安定性基準により、特にステップサイズが 2/L に近づく場合に、ステップサイズおよびモーメンタムパrameterの範囲が従来の結果を上回る。
• 反例により、ポリャクの元来の安定性基準が2回微分可能でない強い凸関数に対しては失敗することが示され、一方で新しい基準は収束を保証する。
• 特定のパrameter選択下で、Heavy-ball法の収束因子は q = 1 − αμ と推定され、勾配降下法で達成可能な最良のレートと一致する。
• 数値結果により、従来の基準が失敗する状況、特に非滑らか設定においても、新しい安定性基準が収束を保証することが確認された。