[論文レビュー] Restarting accelerated gradient methods with a rough strong convexity estimate

Olivier Fercoq, Zheng Qu|arXiv (Cornell University)|Sep 23, 2016

Stochastic Gradient Optimization Techniques参考文献 2被引用数 21

ひとこと要約

本稿では、強い凸性パラメータの粗い推定値が与えられても、任意の再起動頻度で幾何的（線形）収束を達成する、加速勾配降下法および座標降下法のための新しい再起動戦略を提案する。この手法は、過去の反復点の凸結合を用いて再起動点を定義し、真の強い凸性係数の正確な知識がなくても収束を保証できる。

ABSTRACT

We propose new restarting strategies for accelerated gradient and accelerated coordinate descent methods. Our main contribution is to show that the restarted method has a geometric rate of convergence for any restarting frequency, and so it allows us to take profit of restarting even when we do not know the strong convexity coefficient. The scheme can be combined with adaptive restarting, leading to the first provable convergence for adaptive restarting schemes with accelerated gradient methods. Finally, we illustrate the properties of the algorithm on a regularized logistic regression problem and on a Lasso problem.

研究の動機と目的

• 加速勾配法において強い凸性パラメータが不正確に推定された場合に生じる収束の悪化という課題に対処すること。
• 再起動頻度や強い凸性パラメータの推定品質にかかわらず線形収束を保証する再起動スキームの開発。
• APPROXなどの加速座標降下法に同様のアプローチを理論的保証とともに拡張すること。
• 強い凸性パラメータの正確な知識が不要な、加速法における保証付きの適応的再起動フレームワークの構築。

提案手法

• 勾配や目的関数値の評価に依存せず、過去の反復点の凸結合によって定義される新しい再起動点を導入する。
• 真の値より大きいか小さいかを問わず、強い凸性係数の粗い推定値に基づくパラメータ化された再起動ルールを用いる。
• 最適性ギャップと推定された強い凸性を含む再帰的不等式を用いて、リャプノフ関数を用いて収束境界を導出する。
• 加速勾配法（APG, FISTA）および加速座標降下法（APPROX）の両方にこの戦略を適用する。
• 推定された強い凸性に依存する収束レートで線形収束を達成することを確立し、推定値が最適でない場合でも有効であることを示す。
• 推定値が真の値の広い範囲内にある場合、収束レートが著しく向上することを示し、実用的な再起動ヒューリスティクスを支持する。

実験結果

リサーチクエスチョン

• RQ1 強い凸性パラメータが不正確に推定された場合でも、任意の再起動頻度で加速勾配法が線形収束を達成できるか？
• RQ2 過去の反復点の凸結合に基づく再起動戦略が、勾配または目的関数に基づく条件よりも優れているか？
• RQ3 提案された再起動スキームをAPPROXのような加速座標降下法に理論的収束保証とともに拡張可能か？
• RQ4 強い凸性パラメータの正確な知識が不要な、保証付きの適応的再起動スキームを加速法に設計可能か？

主な発見

• 提案された再起動法は、強い凸性パラメータの粗い推定値が与えられても、任意の再起動頻度で幾何的（線形）収束を達成する。
• 収束レートは推定された強い凸性に依存し、真の値を上回る推定値であっても、依然として有効である。
• 非加速スキームよりも優れた性能を示し、強い凸性パラメータが既知の場合には標準的な加速法と同等またはそれを上回る性能を達成する。
• Lassoおよび正則化ロジスティック回帰における数値実験から、正確なパrameterチューニングがなくても、実用的にロバストで効果的であることが示された。
• 理論的分析により、収束レートが推定値と真の値の比に依存する要因によって上限づけられ、非加速法よりも明確な改善が保証された。
• 本手法により、加速勾配法における適応的再起動スキームの初めての保証付き収束が達成され、重要な理論的ギャップが解消された。