[論文レビュー] Boosting Frank-Wolfe by Chasing Gradients

Cyrille W. Combettes, Sebastian Pokutta|arXiv (Cornell University)|Mar 13, 2020

Sparse and Compressive Sensing Techniques参考文献 42被引用数 6

ひとこと要約

本稿では、勾配追跡のためのマッチング Pursuit スタイルのサブルーチンを用いて勾配降下方向を追跡することで、勾配降下方向の整合性を向上させることで、投影なしアルゴリズムとしてのフランク＝ウォルフ法を加速する Boosted Frank-Wolfe (BoostFW) を提案する。この手法は、O(1/t) から O(e^{-ωt}) の収束レートを達成し、ラインサーチや反復点の分解を必要とせず、最先端の手法と比較して反復あたりの性能およびCPU時間において優れた性能を示す。

ABSTRACT

The Frank-Wolfe algorithm has become a popular first-order optimization algorithm for it is simple and projection-free, and it has been successfully applied to a variety of real-world problems. Its main drawback however lies in its convergence rate, which can be excessively slow due to naive descent directions. We propose to speed up the Frank-Wolfe algorithm by better aligning the descent direction with that of the negative gradient via a subroutine. This subroutine chases the negative gradient direction in a matching pursuit-style while still preserving the projection-free property. Although the approach is reasonably natural, it produces very significant results. We derive convergence rates $\mathcal{O}(1/t)$ to $\mathcal{O}(e^{-ωt})$ of our method and we demonstrate its competitive advantage both per iteration and in CPU time over the state-of-the-art in a series of computational experiments.

研究の動機と目的

• フランク＝ウォルフ法の収束が、最適でない降下方向によって遅延する問題に対処すること。
• 投影なしの性質を保ちつつ収束速度を向上させること。これは、投影が高コストとなる設定において特に重要である。
• 計算効率を損なうことなく、降下方向を負の勾配方向により良く一致させること。
• 最先端の変種と比較して、反復あたりの進捗と総合的なCPU時間の両面で競争力のある性能を示すこと。
• やや弱い仮定のもとで、部分線形から線形までの理論的収束保証を提供すること。

提案手法

• 勾配追跡サブルーチンを導入し、反復的に降下方向を改善して負の勾配方向に近づける。
• 各反復で、制約集合上で複数回の線形最小化を実行し、-∇f(xₜ) に近い方向を構築する。これは勾配降下に類似した挙動を再現する。
• 最終段階では、目的関数を最小化するステップサイズを選んで凸結合を行う。これにより、射影を用いずとも妥当性が保たれる。
• ラインサーチや反復点の明示的分解を必要とせず、実装を簡素化し、オーバーヘッドを低減する。
• 標準的な仮定のもとで理論的収束レートを導出する：f は L-スムーズかつ凸であり、制約集合 C はコンパクトかつ凸である。
• この手法は一般性を持ち、任意のフランク＝ウォルフスタイルのアルゴリズムを強化するために応用可能である。

実験結果

リサーチクエスチョン

• RQ1 フランク＝ウォルフ法は、その降下方向を負の勾配方向により良く一致させることで、加速可能か？
• RQ2 勾配方向を追跡する投影なし手法は、標準的なフランク＝ウォルフ法よりも速い収束を達成できるか？
• RQ3 このような修正されたフランク＝ウォルフ法に対して、どのような理論的収束レートを保証できるか？
• RQ4 反復回数およびCPU時間の観点で、最先端の変種と比較して実際の性能はいかがなものか？
• RQ5 ラインサーチや反復点の分解を維持することなく、線形収束を達成できるか？

主な発見

• BoostFW は、問題構造や仮定に応じて、O(1/t) から O(e^{-ωt}) の収束レートを達成する。
• 計算実験では、最先端の手法と比較して、反復あたりの進捗および総合的なCPU時間の両面で顕著な改善を示す。
• ラインサーチや反復点の明示的分解を必要とせず、実装を簡素化し、計算オーバーヘッドを低減する。
• 理論的分析により、勾配優位性および強い凸性の仮定のもとで、解のスパarsityおよび幾何構造に依存するレートで指数的収束が達成されることを示した。
• ε-収束に必要な線形最小化オракルの数は、最悪ケースで O(LD²/ε)、十分な降下ステップがある実用的状況では O((1/ωδ²)(L/μ)ln(1/ε))^{1/p} である。
• 実験的結果により、BoostFW は高次元またはスパースな設定において、反復回数およびウォールクロック時間の両面で既存手法を上回ることが確認された。