[論文レビュー] A Universal Catalyst for First-Order Optimization

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Jun 6, 2015

Stochastic Gradient Optimization Techniques参考文献 30被引用数 185

ひとこと要約

本論文は、勾配降下法、SAG、SAGA、MISO、SVRG などを含む広範な一次順序最適化手法を、適応的正則化を伴う不正確な近接点アルゴリズムに埋め込むことで、普遍的な触媒フレームワークを導入する。この手法は、強凸性パラメータの事前知識を必要とせず、凸および非強凸問題の両方で最適収束レートを達成し、特に悪条件問題において理論的および実験的加速を実現する。

ABSTRACT

We introduce a generic scheme for accelerating first-order optimization methods in the sense of Nesterov, which builds upon a new analysis of the accelerated proximal point algorithm. Our approach consists of minimizing a convex objective by approximately solving a sequence of well-chosen auxiliary problems, leading to faster convergence. This strategy applies to a large class of algorithms, including gradient descent, block coordinate descent, SAG, SAGA, SDCA, SVRG, Finito/MISO, and their proximal variants. For all of these methods, we provide acceleration and explicit support for non-strongly convex objectives. In addition to theoretical speed-up, we also show that acceleration is useful in practice, especially for ill-conditioned problems where we measure significant improvements.

研究の動機と目的

• 機械学習および信号処理分野の広範な一次順序手法に適用可能な汎用的な加速フレームワークの開発。
• SAG、SAGA、MISO、SVRG などのインクリメンタル手法を強凸設定を超えて加速するという未解決問題の解決。
• 非強凸問題における手動による正則化パrameter選択の必要性を排除し、このような目的を直接サポート可能にする。
• MISOの近接変種を複合目的関数に対応可能に拡張し、$ n \geq \beta L/\mu $ のビッグデータ条件を撤廃する。

提案手法

• 触媒フレームワークは、動的に調整されるパrameterを伴う近接点に類似した正則化を用いて、任意の一次順序手法を系列的な補助部分問題に埋め込む。
• 精度と計算コストのバランスを取る新しい不正確性基準を用いた不正確な加速近接点アルゴリズムを採用する。
• ネステロフの加速にインspiredされたモーメンタムベースの更新戦略を採用し、不正確な部分問題解と連携可能に適応する。
• 正則化パラメータ $ \kappa $ の適応的選択が鍵であり、問題の条件数とデータサイズ $ n $ に依存し、$ n $ が大きい場合に加速を実現する。
• アルゴリズムはプライマル反復を維持し、収束を保証するためにリセット機構を用いる。内部反復では、SAG や MISO などの標準的手法で部分問題を解く。
• 双対性に依存しないプライマルのみの収束解析を提供し、双対目的関数の評価を必要としない実用的な最適性証明を導入する。

実験結果

リサーチクエスチョン

• RQ1 SAG、SAGA、MISO、SVRG などのインクリメンタルおよび近接変種を含む広範な一次順序手法に適応可能な普遍的な加速フレームワークを設計可能か？
• RQ2 強凸性の事前知識がなくても、凸および非強凸目的関数に対して最適収束レートを達成できるか？
• RQ3 SAG、SAGA、MISO、SVRG などのインクリメンタル手法に、従来知られていた加速バージョンが存在しなかったにもかかわらず、加速を成功裏に適用可能か？
• RQ4 近接MISOにおいて、ビッグデータ条件 $ n \geq \beta L/\mu $ を撤廃しながら収束性と加速性を維持できるか？
• RQ5 機械学習で一般的に見られる悪条件問題に対する触媒の理論的および実験的影響は何か？

主な発見

• 強凸性パラメータ $ \mu $ を持つ問題に対して、反復複雑度が $ O\left(\min\left\{\frac{L}{\mu},\sqrt{\frac{nL}{\mu}}\right\} \log\left(\frac{1}{\varepsilon}\right)\log\left(\frac{L}{\mu}\right)\right) $ に達し、最適レートと一致する。
• 非強凸問題に対しては、手動による正則化が不要な明示的加速を提供し、$ \varepsilon \|x\|^2 $ 正則化における $ \varepsilon $ の事前選択が不要になる。
• 実験的結果では、特に SAG、SAGA、MISO-Prox において、悪条件問題で顕著な性能向上が得られ、実際の収束が著しく速くなる。
• 加速された MISO-Prox 変種は、ビッグデータ条件 $ n \geq \beta L/\mu $ を撤廃し、より広範な適用可能性を実現する。
• 凸問題では最適な $ O(1/k^2) $ の収束レート、強凸問題では $ O((1 - \sqrt{\mu/L})^k) $ を達成し、ベースとなる手法に依存しない。
• パラメータ $ \kappa $、$ \alpha_0 $、$ \varepsilon_k $ については理論的根拠に基づく設定が採用され、$ \varepsilon_k $ は $ (1-\rho)^k $ または $ 1/(k+2)^{4+\eta} $ のように減少し、収束を保証する。