[論文レビュー] Adaptive Accelerated Gradient Converging Methods under Holderian Error Bound Condition

Mingrui Liu, Tianbao Yang|arXiv (Cornell University)|Nov 23, 2016

Sparse and Compressive Sensing Techniques参考文献 19被引用数 10

ひとこと要約

本稿では、ヘーラー型誤差バインディング（HEB）条件のもとで線形収束を達成する、適応的かつ加速勾配法を提案する。この手法は、プロキシマル勾配の大きさを動的リスタートおよび停止基準として用いる。半代数的・強凸的・ノルム正則化問題に対して、問題固有の定数を事前に知る必要なく、グローバル線形収束を達成する。本研究は、このようなクラスに対して、文献上初のパラメータフリーでグローバル線形収束を達成するアルゴリズムを提供する。

ABSTRACT

Recent studies have shown that proximal gradient (PG) method and accelerated gradient method (APG) with restarting can enjoy a linear convergence under a weaker condition than strong convexity, namely a quadratic growth condition (QGC). However, the faster convergence of restarting APG method relies on the potentially unknown constant in QGC to appropriately restart APG, which restricts its applicability. We address this issue by developing a novel adaptive gradient converging methods, i.e., leveraging the magnitude of proximal gradient as a criterion for restart and termination. Our analysis extends to a much more general condition beyond the QGC, namely the Hölderian error bound (HEB) condition. {\it The key technique} for our development is a novel synthesis of {\it adaptive regularization and a conditional restarting scheme}, which extends previous work focusing on strongly convex problems to a much broader family of problems. Furthermore, we demonstrate that our results have important implication and applications in machine learning: (i) if the objective function is coercive and semi-algebraic, PG's convergence speed is essentially $o(\frac{1}{t})$, where $t$ is the total number of iterations; (ii) if the objective function consists of an $\ell_1$, $\ell_\infty$, $\ell_{1,\infty}$, or huber norm regularization and a convex smooth piecewise quadratic loss (e.g., squares loss, squared hinge loss and huber loss), the proposed algorithm is parameter-free and enjoys a {\it faster linear convergence} than PG without any other assumptions (e.g., restricted eigen-value condition). It is notable that our linear convergence results for the aforementioned problems are global instead of local. To the best of our knowledge, these improved results are the first shown in this work.

研究の動機と目的

• 加速プロキシマル勾配（APG）法に内在する限界、すなわち最適な性能を発揮するためには二次的成長条件（QGC）の定数を事前に知る必要があることに対処すること。
• QGCを超えて、より一般的なヘーラー型誤差バインディング（HEB）条件へ収束保証を拡張すること。
• プロキシマル勾配の大きさを用いて自動的にリスタートおよび停止を制御する適応的メカニズムを設計し、調整パラメータの必要性を排除すること。
• ℓ₁、ℓ∞、ℓ₁,∞、またはハッバー正則化付きの滑らかで区分的二次的損失関数を含む、機械学習問題の広いクラスに対してグローバル線形収束を確立すること。
• 制限固有固有値条件を仮定しない状況でも、標準的PG法よりも収束が速いことを示すこと。

提案手法

• 観測されたプロキシマル勾配の大きさに基づいて、アルゴリズムの挙動を動的に調整する新しい適応的正則化技術を導入する。
• 現在の反復点の進行状況に基づいて導出されたしきい値未満にプロキシマル勾配が低下した場合に、条件付きリスタートを実行するスキームを設計する。
• 収束解析の理論的基盤としてHEB条件を活用し、強凸性やQGCを超える一般化を実現する。
• 滑らかで凸、区分的二次的損失関数とさまざまなノルム正則化を含む複合最適化問題にこのフレームワークを適用する。
• 適応的正則化とリスタート論理の統合により、問題パラメータの事前知識が不要な収束を保証する。
• プロキシマル勾配の降下行動に基づいて、リスタート点を決定するラインサーチに類似した戦略を採用し、ロバスト性と効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ヘーラー型誤差バインディング（HEB）条件のもとで、HEBパラメータを事前に知る必要なく、線形収束を達成する適応的リスタート戦略を設計可能か？
• RQ2 半代数的および強凸的最適化問題に対して、適応的かつパラメータフリーな手法でグローバル線形収束を達成可能か？
• RQ3 制限固有固有値仮定を課さない状況でも、標準的PG法やAPG法と比較して、提案手法の収束速度はどの程度速いか？
• RQ4 プロキシマル勾配の大きさに基づく適応的メカニズムは、手動でのチューニングなしに信頼性高くリスタートおよび停止をトリガーできるか？
• RQ5 どのような機械学習問題が、提案手法のグローバル線形収束性とパラメータフリー特性から恩恵を受けるか？

主な発見

• 提案された適応的加速勾配法は、ヘーラー型誤差バインディング（HEB）条件のもとでグローバル線形収束を達成し、二次的成長や強凸性の範囲を超えて一般化された。
• 強凸的かつ半代数的関数に対しては、プロキシマル勾配法の収束速度が o(1/t) であり、一般の非強凸設定におけるサブ線形速度を上回る。
• 凸で滑らかな区分的二次的損失関数に加え、ℓ₁、ℓ∞、ℓ₁,∞、またはハッバー正則化を含む場合、標準的PG法よりも速い線形収束を達成するが、制限固有固有値条件のような追加仮定は不要である。
• 本手法はパラメータフリーであり、プロキシマル勾配の大きさのみを用いてリスタートおよび停止を動的に決定するため、調整定数の必要がない。
• 線形収束はローカルではなくグローバルであるため、解の近傍に初期化する必要があるという先行研究の制限を大きく改善している。
• 著者らの知る限り、本研究は、HEB条件のもとで追加の構造的仮定を課さずに、このような問題クラスに対してグローバル線形収束を確立する初の研究である。