[論文レビュー] Frank-Wolfe with Subsampling Oracle

Thomas Kerdreux, Fabián Pedregosa+1 more|arXiv (Cornell University)|Mar 20, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、フルな線形最小化オракルを部分的にサンプリングしたオラクルに置き換える2つの確率的Frank-Wolfe変種を提案する。これにより、決定的アルゴリズムと同等の収束レートを達成する：通常のFrank-Wolfeでは非線形、Away-step Frank-Wolfeでは線形収束である。この手法により、各反復における計算コストを低減し、大規模またはストリーミング設定でも理論的保証を失うことなく、より速い収束を実現できる。

ABSTRACT

We analyze two novel randomized variants of the Frank-Wolfe (FW) or conditional gradient algorithm. While classical FW algorithms require solving a linear minimization problem over the domain at each iteration, the proposed method only requires to solve a linear minimization problem over a small \\emph{subset} of the original domain. The first algorithm that we propose is a randomized variant of the original FW algorithm and achieves a $\\mathcal{O}(1/t)$ sublinear convergence rate as in the deterministic counterpart. The second algorithm is a randomized variant of the Away-step FW algorithm, and again as its deterministic counterpart, reaches linear (i.e., exponential) convergence rate making it the first provably convergent randomized variant of Away-step FW. In both cases, while subsampling reduces the convergence rate by a constant factor, the linear minimization step can be a fraction of the cost of that of the deterministic versions, especially when the data is streamed. We illustrate computational gains of the algorithms on regression problems, involving both $\\ell_1$ and latent group lasso penalties.

研究の動機と目的

• 大規模またはストリーミング問題におけるFrank-Wolfeアルゴリズムのフル線形最小化オラクルの高い計算コストを解決すること。
• 各反復で原子のランダムサブセットのみを用いることで、計算オーバーヘッドを低減する確率的Frank-Wolfeアルゴリズムの開発。
• Away-step Frank-Wolfeアルゴリズムへのアプローチの拡張により、オラクルコストを低減しながらも線形収束を維持すること。
• 部分サンプリング下での両方の確率的変種の収束挙動を理論的に分析し、決定的アルゴリズムと同等の収束レート（定数倍の差異を除いて）を保証すること。
• ℓ₁正則化およびラテングループlasso正則化を施した回帰問題において、確率的手法が決定的バージョンを実用的に上回ることの実証。

提案手法

• 各反復で原子の均等ランダムサブセット上で線形最小化オラクルを計算する確率的Frank-Wolfe（RFW）アルゴリズムを提案。
• Away-stepバージョンに部分サンプリングを適用し、多面体上での線形収束を維持する確率的Away-step Frank-Wolfe（RAFW）アルゴリズムを導入。
• 曲率定数に基づく解析を用いて、期待される最適差をバウンディングし、部分サンプリングが収束レートに与える影響が定数倍に留まることを示す。
• 一部の先行研究とは異なり、部分サンプリング誤差が時間とともに減少する必要がないことを保証。
• 部分サンプリングオラクルの期待勾配がフル勾配に等しいという事実を活用し、正当な収束証明が可能になる。
• 明示的な残差追跡と適応的ステップサイズを用いて、確率的変動下でも収束性を維持するアルゴリズム実装。

実験結果

リサーチクエスチョン

• RQ1 部分サンプリング線形最小化オラクルを用いる確率的Frank-Wolfe変種は、決定的Frank-Wolfeアルゴリズムと同等の非線形収束率を達成できるか？
• RQ2 Away-step Frank-Wolfeの確率的変種は線形収束を維持できるか？その場合、どのような条件下で成立するか？
• RQ3 線形最小化オラクルを部分サンプリングすることで、計算コストが低下するが、収束レートは定数倍の範囲内で劣化しないか？
• RQ4 実際の性能において、確率的アルゴリズムは決定的バージョンを上回るか？特に大規模またはストリーミングデータにおいて。
• RQ5 確率的Frank-Wolfeの理論的収束保証は、多面体でない領域やより一般な制約集合へ拡張可能か？

主な発見

• 確率的Frank-Wolfe（RFW）アルゴリズムは、部分サンプリング率に依存する定数因子を除き、期待値においてO(1/t)の非線形収束率を達成し、決定的Frank-Wolfeと同等。
• 確率的Away-step Frank-Wolfe（RAFW）アルゴリズムは多面体上での線形（指数的）収束を達成し、Away-step法の確率的変種として初めて理論的収束性を保証した。
• 部分サンプリングによる反復回数の理論的増加（RFWではサンプリング率、RAFWではその二乗に比例）にもかかわらず、数値実験では確率的バージョンがしばしば決定的バージョンを実用的に上回る。
• 部分サンプリング誤差が時間とともに減少する必要がなく、ストリーミング設定（データがチャンク単位で処理される）でも安定的かつ効率的な計算が可能。
• ℓ₁正則化およびラテングループlasso回帰問題において、原子集合が大きい場合に顕著な計算高速化が達成され、反復あたりの線形最小化が安価になるため。
• Frandiら（2016）の先行分析に欠陥が存在することを特定。特に、証明における条件付き期待値の取り扱いが誤っており、その収束バウンディングは無効である。