[論文レビュー] Linearly Convergent Frank-Wolfe with Backtracking Line-Search

Fabián Pedregosa, Geoffrey Négiar+2 more|arXiv (Cornell University)|Jun 13, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、十分な減少条件に基づきバックトラッキングラインサーチを用いてステップサイズを設定する、Away-stepsおよびPairwise Frank-Wolfeアルゴリズムの不正確な変種を提案する。これにより、正確なラインサーチや目的関数の曲率に関する事前知識の必要性が不要になる。これらの手法は、多面体上での強い凸関数に対して線形収束を達成するとともに、近似線形部分問題を伴う実世界の機械学習問題に対しても実用的である。

ABSTRACT

Structured constraints in Machine Learning have recently brought the Frank-Wolfe (FW) family of algorithms back in the spotlight. While the classical FW algorithm has poor local convergence properties, the Away-steps and Pairwise FW variants have emerged as improved variants with faster convergence. However, these improved variants suffer from two practical limitations: they require at each iteration to solve a 1-dimensional minimization problem to set the step-size and also require the Frank-Wolfe linear subproblems to be solved exactly. In this paper, we propose variants of Away-steps and Pairwise FW that lift both restrictions simultaneously. The proposed methods set the step-size based on a sufficient decrease condition, and do not require prior knowledge of the objective. Furthermore, they inherit all the favorable convergence properties of the exact line-search version, including linear convergence for strongly convex functions over polytopes. Benchmarks on different machine learning problems illustrate large performance gains of the proposed variants.

研究の動機と目的

• Away-stepsおよびPairwise Frank-Wolfeの実用的限界、すなわち正確なラインサーチおよび正確な線形最小化オракル（LMO）の必要性を解消すること。
• 目的関数の性質（Lipschitz定数や曲率など）を事前に知る必要のない、実用的で即戦力となるこれらの手法の変種を開発すること。
• 正確なバージョンが示す良好な線形収束レートを維持しつつ、線形部分問題の近似解を許容すること。
• 正確なLMOが実現不可能な問題（例：トレースノルム制約付き最適化）に対してもFrank-Wolfe法の適用範囲を拡張すること。
• 正確な部分問題の解が得られない状況下でも、バックトラッキングラインサーチが正確なラインサーチと同等の収束保証を達成できることを示すこと。

提案手法

• 十分な減少条件に基づきステップサイズを設定するバックトラッキングラインサーチ戦略を導入し、各反復で十分な進捗を確保する。
• 十分な減少条件：$ f(x_t + \gamma d_t) \leq f(x_t) - \delta \gamma \langle \nabla f(x_t), d_t \rangle $（$ \delta \in (0,1) $）を用い、ステップサイズを決定する。
• 正確なラインサーチを不要にするために、ステップサイズ選択をバックトラッキングにより実行し、減少するステップサイズの評価を繰り返し、条件を満たすまで続ける。
• 線形最小化オラクルが許容誤差内での解を返すことを許容することで、不正確な線形部分問題に対しても適応可能にし、収束保証を維持する。
• Away-steps FWおよびPairwise FWにこのフレームワークを適用し、標準的Frank-WolfeおよびMatching Pursuitへの拡張も示す。
• 双対ノルムに基づく解析を用いて収束レートを導出し、アクティブ集合の最小離反重みおよびアクティブ集合の条件数を活用する。

実験結果

リサーチクエスチョン

• RQ1 Frank-Wolfeの変種は、正確なラインサーチや目的関数の曲率に関する知識がなくても線形収束を達成できるか？
• RQ2 バックトラッキングラインサーチを用いることで、多面体上での強い凸関数に対してAway-stepsおよびPairwise FWの線形収束レートが保たれるか？
• RQ3 線形部分問題が正確ではなく近似的に解かれた場合でも、提案手法が収束保証を維持できるか？
• RQ4 不正確な部分問題と適応的ステップサイズが、機械学習におけるFrank-Wolfe法の実用的性能に与える影響は何か？
• RQ5 実世界の機械学習問題において、バックトラッキングベースの変種は正確な変種と比べてどの程度の性能を示すか？

主な発見

• 提案されたAway-stepsおよびPairwise FWのバックトラッキングラインサーチ変種は、多面体上での強い凸関数に対して線形収束を達成し、既知の最良の理論的レートと一致する。
• 目的関数の曲率やLipschitz定数に関する知識が不要であるため、実世界の応用において実用的である。
• 収束レートは $ h_{t+1} \leq \left(1 - \delta^2 \frac{\mu \cdot \text{mDW}(\mathcal{B})^2}{L_t R^2}\right) h_t $ で有界であり、標準的な仮定のもとで線形収束を保証する。
• $\ell_1$-正則化ロジスティック回帰（MadelonおよびRCV1）および核ノルム正則化Huber回帰（Movielens）における実験的ベンチマークでは、正確な変種よりも顕著な性能向上が得られた。
• バックトラッキングによる大きなステップサイズの使用が、特にPairwise FWにおいて高速な収束をもたらし、適応的ステップサイズ選択の重要性を示している。
• この手法はMatching Pursuitに対しても自然に拡張可能であり、不正確な部分問題と適応的ラインサーチを伴うMPに対する最初の収束解析を提供する。