[論文レビュー] Variance-Reduced and Projection-Free Stochastic Optimization

Elad Hazan, Haipeng Luo|arXiv (Cornell University)|Feb 5, 2016

Stochastic Gradient Optimization Techniques参考文献 15被引用数 79

ひとこと要約

本稿では、$1 - \epsilon$ の精度に到達するのに必要な確率的勾配評価回数を顕著に削減する、バリアンス低減およびプロジェクションフリーな確率的フランク＝ウォルフアルゴリズムを2つ提案する。ノステロフの加速とバリアンス低減を組み合わせることで、滑らかで強く凸な目的関数に対して $\mathcal{O}(\ln \frac{1}{\epsilon})$ の確率的勾配を達成し、滑らかでリプシッツ連続な目的関数に対しては $\mathcal{O}(\frac{1}{\epsilon^{1.5}})$ を達成する。これは、それぞれ $\mathcal{O}(\frac{1}{\epsilon})$ および $\mathcal{O}(\frac{1}{\epsilon^2})$ を必要としていた先行研究を上回る。

ABSTRACT

The Frank-Wolfe optimization algorithm has recently regained popularity for machine learning applications due to its projection-free property and its ability to handle structured constraints. However, in the stochastic learning setting, it is still relatively understudied compared to the gradient descent counterpart. In this work, leveraging a recent variance reduction technique, we propose two stochastic Frank-Wolfe variants which substantially improve previous results in terms of the number of stochastic gradient evaluations needed to achieve $1-ε$ accuracy. For example, we improve from $O(\frac{1}ε)$ to $O(\ln\frac{1}ε)$ if the objective function is smooth and strongly convex, and from $O(\frac{1}{ε^2})$ to $O(\frac{1}{ε^{1.5}})$ if the objective function is smooth and Lipschitz. The theoretical improvement is also observed in experiments on real-world datasets for a multiclass classification application.

研究の動機と目的

• 構造的制約を伴う大規模な機械学習問題に対して、効率的なプロジェクションフリーな確率的最適化手法の不足を解消すること。
• 確率的フランク＝ウォルフアルゴリズムの収束速度を、$1 - \epsilon$ の精度に到達するまでの確率的勾配評価回数を削減することで向上させること。
• バリアンス低減とノステロフの加速を活用して、プロジェクションフリーの性質を保ちながらより速い収束を達成すること。
• 実世界のデータセットを用いた理論的および実験的評価を通じて、既存の確率的フランク＝ウォルフ法およびプロジェクション付き確率的勾配降下法と比較しての優位性を示すこと。

提案手法

• 勾配降下法におけるバリアンス低減技術をフランク＝ウォルフフレームワークに統合することで、勾配のばらつきを低減する STOC（確率的フランク＝ウォルフ＋バリアンス低減）を提案する。
• ノステロフの加速と再帰的補正を用いて収束速度を向上させる STORC（再帰的補正を用いた確率的最適化）を導入する。
• 最適解の経路を追跡するための補助点の系列を維持する再帰的更新ルールを採用し、収束速度を向上させる。
• 制御変数を用いたバリアンス低減により、勾配推定の安定性を高め、確率的更新におけるノイズを低減する。
• 制約集合 $\Omega$ 上での線形部分問題を解くことでプロジェクションフリーの更新を維持し、計算効率を確保する。
• 滑らかさおよび強く凸性の性質を用いて、期待される最適性ギャップをバインドすることで、収束速度の向上を導く。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法におけるバリアンス低減技術は、プロジェクションフリーな確率的フランク＝ウォルフ最適化に効果的に適応可能か？
• RQ2 確率的フランク＝ウォルフアルゴリズムにおいて、確率的勾配評価回数と線形最適化呼び出し回数の最適なトレードオフは何か？
• RQ3 ノステロフの加速をバリアンス低減と組み合わせることで、確率的フランク＝ウォルフ設定においてより速い収束を達成可能か？
• RQ4 実世界の機械学習タスクにおいて、提案手法はプロジェクション付き確率的勾配降下法および先行の確率的フランク＝ウォルフ法と比較して実際の性能で優れているか？
• RQ5 プロジェクションフリーな設定において、強く凸な目的関数に対して $\mathcal{O}(\ln \frac{1}{\epsilon})$ の確率的勾配複雑度を達成することは可能か？

主な発見

• 滑らかで強く凸な目的関数に対しては、提案された STORC アルゴリズムが $\mathcal{O}(\ln \frac{1}{\epsilon})$ の確率的勾配評価回数を達成し、従来の $\mathcal{O}(\frac{1}{\epsilon})$ の境界を上回る。
• 滑らかだが強く凸でない目的関数に対しては、確率的勾配複雑度を $\mathcal{O}(\frac{1}{\epsilon^2})$ から $\mathcal{O}(\frac{1}{\epsilon^{1.5}})$ に低減する。
• 線形最適化呼び出し回数は $\mathcal{O}(\frac{1}{\epsilon})$ のまま維持され、先行研究と同等であるが、確率的勾配複雑度は顕著に削減されている。
• 正確な勾配計算は最大で $\mathcal{O}(\ln \frac{1}{\epsilon})$ 回で済み、他の処理と比較して計算コストは無視できる。
• 3つの大規模な実世界のマルチクラス分類データセットを用いた実験では、従来のプロジェクションフリー手法およびプロジェクション付き確率的勾配降下法の変種と比較して顕著な性能向上が得られた。
• 理論的な収束速度は実験的にも裏付けられ、提案手法は収束速度および最終的な精度の両面でベースライン手法を上回った。