[論文レビュー] Catalyst Acceleration for First-order Convex Optimization: from Theory to Practice

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Dec 15, 2017

Stochastic Gradient Optimization Techniques被引用数 90

ひとこと要約

Catalyst は、線形収束を持つ任意の手法を包み込み、良く選択された近似的な proximal サブ問題の列を解くことで、凸最適化の全体的な収束をより速く実現する一般的な加速スキームであり、非強凸の場合も含む。

ABSTRACT

We introduce a generic scheme for accelerating gradient-based optimization methods in the sense of Nesterov. The approach, called Catalyst, builds upon the inexact accelerated proximal point algorithm for minimizing a convex objective function, and consists of approximately solving a sequence of well-chosen auxiliary problems, leading to faster convergence. One of the keys to achieve acceleration in theory and in practice is to solve these sub-problems with appropriate accuracy by using the right stopping criterion and the right warm-start strategy. We give practical guidelines to use Catalyst and present a comprehensive analysis of its global complexity. We show that Catalyst applies to a large class of algorithms, including gradient descent, block coordinate descent, incremental algorithms such as SAG, SAGA, SDCA, SVRG, MISO/Finito, and their proximal variants. For all of these methods, we establish faster rates using the Catalyst acceleration, for strongly convex and non-strongly convex objectives. We conclude with extensive experiments showing that acceleration is useful in practice, especially for ill-conditioned problems.

研究の動機と目的

• 勾配法を含む凸最適化における加速の動機づけ、特に大規模な有限和問題を対象として。
• 多様な一階手法に適用可能な統一的な Catalyst フレームワークの提供。
• 平滑化、外挿、および内外のバランスによって収束が速くなることの示唆。
• 手動の正則化なしで非強凸目的関数への加速の拡張。
• 実世界での利用に向けた実践的ガイドラインと複雑さ分析の提供。

提案手法

• Catalyst を、基底手法 M を用いて近似的に強凸な補助問題を解く外部-外部ループスキームとして導入する。
• Moreauエンベロープ（infimal convolution）を用いて、良く条件づけられた代理目的関数 h_k を作成する。
• Nesterov 風の外挿を適用して、加速のための外部イテレート y_k を形成する。
• 内問題の明示的な停止基準（絶対精度/相対精度または固定予算）とウォームスタート戦略を提供する。
• 複雑さを最適化するために滑らかさパラメータ kappa を選択して、内外の計算をバランスさせる。
• Catalyst は、強凸問題上で線形収束を持つ広いクラスの一階手法を加速することを示す。

実験結果

リサーチクエスチョン

• RQ1 Catalyst は、勾配降下法や SDCA を超える広いクラスの一階手法を加速し、凸目的関数に対する収束をより速くすることができるか。
• RQ2 グローバルな加速を保証するために、内ループの精度、ウォームスタート、滑らかさパラメータをどう選択すべきか。
• RQ3 強凸および非強凸目的関数へ Catalyst を適用することによる理論的な複雑さの利点は何か。
• RQ4 不完全なサブプロブレム解法を用いた場合の Moreau エンベロープ平滑化が実践的な加速とどう結びつくか、どのような点に影響を与えるか。
• RQ5 非強凸目的に対して manual な正則化なしで incremental 法へ直接対応を提供できるか。

主な発見

• Catalyst は強凸なサブ問題を加速させる際に多くの手法でより速い収束をもたらし、大規模和問題の複雑さ境界を改善する。
• 本フレームワークは勾配降下法、ブロック座標降下法、SAG、SAGA、SDCA、SVRG、MISO/Finito、および近接変種などのインクリメンタル法にも適用可能。
• 非強凸目的関数に対しても加速を実現でき、加速のために正則化を追加する必要がなくなる。
• 内問題の適切な停止基準と効果的なウォームスタートは、実践的な加速と複雑さの制御にとって重要である。
• 理論的結果は、強凸および非強凸の設定においてほぼ最適な速さを対数因子まで示す。
• 経験的には、特に病的条件の問題で実用的な加速が示される。