[論文レビュー] Adaptive Restart for Accelerated Gradient Schemes

Brendan O’Donoghue, Emmanuel J. Candès|arXiv (Cornell University)|Apr 18, 2012

Sparse and Compressive Sensing Techniques参考文献 13被引用数 21

ひとこと要約

この論文は、目的関数値の周期的揺動を検出し、モーメンタムが最適閾値を超えた際にリセットする、加速勾配法のための適応的リスタート手法を提案する。目的関数値の上昇を検出し、それにより『高モーメンタム』状態を特定することで、関数の条件数に関する事前知識がなくても、最適な線形収束レートを回復する。

ABSTRACT

In this paper we demonstrate a simple heuristic adaptive restart technique that can dramatically improve the convergence rate of accelerated gradient schemes. The analysis of the technique relies on the observation that these schemes exhibit two modes of behavior depending on how much momentum is applied. In what we refer to as the 'high momentum' regime the iterates generated by an accelerated gradient scheme exhibit a periodic behavior, where the period is proportional to the square root of the local condition number of the objective function. This suggests a restart technique whereby we reset the momentum whenever we observe periodic behavior. We provide analysis to show that in many cases adaptively restarting allows us to recover the optimal rate of convergence with no prior knowledge of function parameters.

研究の動機と目的

• モーメンタムが最適閾値を超えた場合に生じる加速勾配スキームの収束の非最適性を解消すること。
• 関数の条件数や強凸性パラメータに関する事前知識が不要な、ヒューリスティックなリスタート戦略を開発すること。
• 局所的に良好に条件付けられた領域において、適応的リスタートが最適な線形収束レートを回復できることを示すこと。
• 最適化中の目的関数の挙動に基づいた、実装が容易な実用的なリスタート基準を提供すること。
• Lasso回帰やボックス制約付き二次計画法を含む実世界問題への適用を検証すること。

提案手法

• モーメンタムが最適値を超えると発生する目的関数値の周期的揺動を検出し、『高モーメンタム』状態を示す。
• 目的関数値が上昇した場合にリスタートを発動させ、現在のモーメンタムが逆効果的であることを示す。
• リスタート条件は、一般化勾配ステップの符号をモニタリングすることで実装される：$ G(y^k)^T(x^{k+1} - x^k) > 0 $ または同値として $ (y^k - x^{k+1})^T(x^{k+1} - x^k) > 0 $。
• FISTA や加速投影勾配降下法などの標準的な加速スキームに、元のアルゴリズムの最小限の変更で適用可能。
• 実験的に、リスタート間隔が局所的条件数の平方根に比例することが示され、理論的予測と整合している。
• 滑らかで凸および強凸問題の両方、Lasso やボックス制約付き二次計画問題に適用可能。

実験結果

リサーチクエスチョン

• RQ1 関数パラメータに関する事前知識がなくても、単純で適応的なリスタート機構が加速勾配法の収束を改善できるか？
• RQ2 加速スキームにおける目的関数値の周期的揺動とモーメンタムレベルの関係は何か？
• RQ3 目的関数値の上昇に伴うリスタートが、局所的に良好に条件付けられた領域で最適な線形収束レートを回復できるか？
• RQ4 最適なリスタート間隔は、目的関数の局所的条件数にどのように依存するか？
• RQ5 提案されたリスタート基準は、Lasso や二次計画法のような制約付き最適化問題に効果的に適用できるか？

主な発見

• 目的関数値の上昇をトリガーとする適応的リスタートは、加速勾配スキームの収束を顕著に加速する。
• 強凸性パラメータ $ \mu $ が未知であっても、最適な線形収束レート $ \mathcal{O}(\sqrt{L/\mu} \log(1/\epsilon)) $ を回復する。
• 目的関数値の揺動周期は、局所的条件数 $ \sqrt{L/\mu} $ に比例し、これが最適なリスタート間隔と一致する。
• Lasso回帰および二次計画法における数値実験では、非リスタート加速法と比較して収束時間が桁違いに短縮された。
• 一般化勾配ステップ $ G(y^k)^T(x^{k+1} - x^k) > 0 $ に基づくリスタート条件は、モーメンタムが過剰になったことを信頼性高く検出できる。
• 特に最適解付近の局所的良条件性により、著しい高速化が達成されるため、非強凸設定でも頑健で効果的である。