[論文レビュー] Linear Convergence of Stochastic Frank Wolfe Variants

Donald Goldfarb, Garud Iyengar+1 more|arXiv (Cornell University)|Mar 21, 2017

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿では、大規模な正則化付き経験的リスク最小化問題を解くために、Away-step Stochastic Frank-Wolfe (ASFW) および Pairwise Stochastic Frank-Wolfe (PSFW) アルゴリズムを導入し、分析している。Empirical processes と concentration inequalities を用いた新しい証明技術に基づき、期待値における線形収束およびほとんど確実な収束を証明し、合成および実世界のデータセットにおいて、ステochasticな競合手法と比較して優れた CPU 時間性能を示している。

ABSTRACT

In this paper, we show that the Away-step Stochastic Frank-Wolfe Algorithm (ASFW) and Pairwise Stochastic Frank-Wolfe algorithm (PSFW) converge linearly in expectation. We also show that if an algorithm convergences linearly in expectation then it converges linearly almost surely. In order to prove these results, we develop a novel proof technique based on concepts of empirical processes and concentration inequalities. Such a technique has rarely been used to derive the convergence rates of stochastic optimization algorithms. In large-scale numerical experiments, ASFW and PSFW perform as well as or better than their stochastic competitors in actual CPU time.

研究の動機と目的

• 大規模最適化におけるステochastic Frank-Wolfe 変種の期待値における線形収束およびほとんど確実な収束を確立すること。
• Frank-Wolfe 法の収束解析において、ステochastic および組合せ的議論を統合する課題に取り組むこと。
• ステochastic 最適化アルゴリズムの解析に向けた、empirical processes と concentration inequalities を基盤とする新しい証明フレームワークを構築すること。
• 実世界および合成データセットにおいて、SVRF や Prox-SVRG などのステochastic 競合手法と比較して、ASFW および PSFW の実用的性能を評価すること。
• 標準的な O(1/k) 収束レートを超えて、ステochastic Frank-Wolfe 法の理論的理解を拡張すること。

提案手法

• 大規模データを対象とする滑らかで制約付き最適化問題を解くために、Away-step Stochastic Frank-Wolfe (ASFW) および Pairwise Stochastic Frank-Wolfe (PSFW) アルゴリズムを提案する。
• 大規模 n の設定における反復コストを削減するため、全勾配の代わりにステochastic勾配を用いる。
• 収束解析に向け、empirical process 理論と concentration inequalities を組み合わせた新しい証明技術を採用する。
• ステochastic 勾配と方向に依存する適応的ステップサイズを導入し、最大ステップサイズの制限を設ける。
• 多面体制約と強い凸性を有する目的関数に適用し、やや厳しい条件下でも線形収束を保証する。
• FW の部分問題における l1-ボール上での線形最適化を明示的に解くことで、計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Away-step Stochastic Frank-Wolfe アルゴリズムは、標準的な仮定のもとで期待値における線形収束を達成できるか？
• RQ2 期待値における線形収束は、ステochastic Frank-Wolfe 変種においてほとんど確実な線形収束を意味するか？
• RQ3 empirical processes と concentration inequalities を基盤とする新しい証明技術が、ステochastic Frank-Wolfe アルゴリズムの解析に成功裏に適用可能か？
• RQ4 CPU 時間と収束速度の観点から、ASFW および PSFW は、SVRF や Prox-SVRG などの既存のステochastic 手法と比較して実際の性能で優れているか？
• RQ5 目的関数が強く凸でない場合、または最適解が境界上にある場合でも、提案されたアルゴリズムは線形収束を維持できるか？

主な発見

• ASFW および PSFW アルゴリズムは、強い凸性と多面体制約の仮定のもとで、期待値における線形収束を達成する。
• 期待値における線形収束が、ほとんど確実な線形収束を意味することを、本研究で初めて確立した。
• empirical processes と concentration inequalities を基盤とする新しい証明技術は、ステochastic Frank-Wolfe 変種の収束レートを成功裏に確立した。
• 大規模な数値実験において、ASFW および PSFW は、すべてのテスト設定で SVRF や Prox-SVRG と同等または優れた CPU 時間性能を示した。
• 463,715 個のサンプルを含む Million Song Dataset において、ASFW および PSFW は、SVRF や Prox-SVRG と同等または優れた目的関数値を達成し、SVRF よりも振動が少ないことがわかった。
• SVRF が各エポックの開始時に大きなステップサイズをとることで生じる周期的な性能の変動とは異なり、アルゴリズムは安定した性能を示した。