[論文レビュー] A Generic Acceleration Framework for Stochastic Composite Optimization

Andrei Kulunchakov, Julien Mairal|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques参考文献 56被引用数 15

ひとこと要約

本論文は、確率的複合最適化のための汎用的加速フレームワークを導入し、Catalyst手法を確率的設定に拡張することで、初期化支配的およびノイズ支配的領域の両方で最適な収束レートを達成する。強い凸性を示す部分問題に対して線形収束を示すベースの確率的アルゴリズムを活用することで、初期段階ではネステロフ型の加速が達成され、後続段階では最適なノイズ依存収束が実現される。

ABSTRACT

In this paper, we introduce various mechanisms to obtain accelerated first-order stochastic optimization algorithms when the objective function is convex or strongly convex. Specifically, we extend the Catalyst approach originally designed for deterministic objectives to the stochastic setting. Given an optimization method with mild convergence guarantees for strongly convex problems, the challenge is to accelerate convergence to a noise-dominated region, and then achieve convergence with an optimal worst-case complexity depending on the noise variance of the gradients. A side contribution of our work is also a generic analysis that can handle inexact proximal operators, providing new insights about the robustness of stochastic algorithms when the proximal operator cannot be exactly computed.

研究の動機と目的

• 決定的最適化と確率的最適化の間のギャップを埋めるために、確率的勾配法を加速すること。
• 元々決定的問題を想定していたCatalystフレームワークを、期待値に基づく目的関数を有する確率的複合最適化に拡張すること。
• 確率的最適化の初期化依存的段階およびノイズ支配的段階の両方で、最適な収束レートを達成すること。
• 不正確な近位演算子を扱える分析を提供することで、実用的適用性を高めること。
• 有限和問題および一般の期待値問題への応用を通じて、フレームワークの汎用性を示すこと。

提案手法

• フレームワークはCatalyst風のアプローチを採用し、ベースの確率的アルゴリズムを、系列的な補助的強い凸部分問題に埋め込む。
• 各サロゲート関数は強い凸関数と近位項を用いて構築され、系列的な正則化されたサロゲート関数の反復的最小化が行われる。
• ベースアルゴリズムの挙動に関する仮定（勾配の分散が有界）を通じて、ノイズ支配的領域への線形収束が保証される。
• ネステロフ型の外挿ステップを活用することで、初期段階における加速収束が達成される。
• 不正確な近位演算子を扱うために、一般的な解析を用いることで、計算上の不正確さに対してもロバスト性が保証される。
• リャプノフ関数のアプローチを用いて理論的保証が導出され、期待される部分最適性の上界が初期誤差とノイズ分散の関数として評価される。

実験結果

リサーチクエスチョン

• RQ1 Catalystフレームワークは、期待値に基づく目的関数を有する確率的複合最適化問題に一般化可能か？
• RQ2 初期化支配的およびノイズ支配的領域の両方で同時に加速が達成可能か？
• RQ3 近位演算子が不正確に計算された場合、フレームワークの性能はどのように変化するか？
• RQ4 ノイズ分散および問題の条件数を考慮した場合、加速アルゴリズムの最悪ケース複雑度の最適値は何か？
• RQ5 フレームワークは有限和問題に適用可能であり、最先端の収束レートを達成できるか？

主な発見

• 初期化支配的段階では、収束レートが O((1−√μ/L)^k) に加速され、決定的問題におけるネステロフの最適レートと一致する。
• ノイズ支配的段階では、勾配ノイズ分散 σ² に最適に依存する収束が達成され、期待値において O(σ²) の上界が得られる。
• 不正確な近位演算子が計算されても、不正確さの一般的な解析により最適な複雑度が維持される。
• 実験結果では、[28] に示される既存の加速手法と同等またはそれ以上の性能を示し、特に中程度のノイズレベル下で顕著な優位性を示す。
• 数値実験により、劣化条件問題において理論的利点が確認されたが、条件数が極めて低い場合には不安定性が生じる可能性がある。
• ロジスティック回帰および二乗ヒンジ損失問題において、SVRGおよびSAGAの両変種がフレームワークによって一貫して加速され、収束速度の向上が得られた。