[論文レビュー] On the Global Linear Convergence of Frank-Wolfe Optimization Variants

Simon Lacoste-Julien, Martin Jaggi|arXiv (Cornell University)|Nov 18, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用数 160

ひとこと要約

本稿は、強い凸性よりも弱い条件下で、複数のFrank-Wolfe変種—離脱ステップFW、ペairwise FW、完全補正FW、およびWolfeの最小ノルム点—のグローバル線形収束を確立する。収束は、関数の条件数と多面体の新しい幾何的条件数の積に依存しており、構造的機械学習問題における高速かつグローバルに収束する最適化を可能にする。

ABSTRACT

The Frank-Wolfe (FW) optimization algorithm has lately re-gained popularity thanks in particular to its ability to nicely handle the structured constraints appearing in machine learning applications. However, its convergence rate is known to be slow (sublinear) when the solution lies at the boundary. A simple less-known fix is to add the possibility to take 'away steps' during optimization, an operation that importantly does not require a feasibility oracle. In this paper, we highlight and clarify several variants of the Frank-Wolfe optimization algorithm that have been successfully applied in practice: away-steps FW, pairwise FW, fully-corrective FW and Wolfe's minimum norm point algorithm, and prove for the first time that they all enjoy global linear convergence, under a weaker condition than strong convexity of the objective. The constant in the convergence rate has an elegant interpretation as the product of the (classical) condition number of the function with a novel geometric quantity that plays the role of a 'condition number' of the constraint set. We provide pointers to where these algorithms have made a difference in practice, in particular with the flow polytope, the marginal polytope and the base polytope for submodular optimization.

研究の動機と目的

• 実用的に用いられる主なFrank-Wolfe変種の収束行動を明確化し統一すること。
• 離脱ステップFW、ペairwise FW、完全補正FW、およびWolfeの最小ノルム点アルゴリズムに対してグローバル線形収束を確立すること。
• 強い凸性よりも弱い十分条件を同定し、目的関数がグローバルに強く凸でない場合にも適用可能であるようにすること。
• 解の位置に依存せずに収束速度を定量化する、多面体のための新しい幾何的条件数を導入すること。
• 収束速度定数が関数の条件数と多面体の幾何的条件数の積に明確に分離されることを示すこと。

提案手法

• 古典的強い凸性の要件を弱める一般化された幾何的強い凸性条件を導入する。
• 制約集合の曲率を捉え、収束速度に影響を与える新しい幾何的数量、多面体の条件数を定義する。
• 4つのFW変種（AFW, PFW, FCFW, MNP）の線形収束を統一的な分析フレームワークで証明する。
• ギャップに基づく解析を採用し、部分最適性誤差を、一般化された強い凸性定数でスケーリングされたFrank-Wolfeギャップの二乗で上界で抑え込む。
• 古典的な強い凸性定数μを、アクティブ集合の幾何と解の相対的位置に依存する一般化されたバージョン˜μ_fに置き換える。
• 収束速度がアフィン不変であり、最適解が多面体の境界上に存在しても劣化しないことを示す。

実験結果

リサーチクエスチョン

• RQ1 離脱ステップや他のFW変種は、強い凸性よりも弱い条件下でグローバル線形収束を達成できるか？
• RQ2 制約集合のどの幾何的性質がFrank-Wolfe変種の線形収束速度を支配するか？
• RQ3 最適解の多面体内での位置が収束速度にどのように影響するか？
• RQ4 完全補正や最小ノルム点法を含む複数のFW変種の収束解析を統一する理論的フレームワークは存在するか？
• RQ5 多面体のための条件数は、関数の条件数が収束速度を決定するのと同様の役割を果たすものか？

主な発見

• 離脱ステップFW、ペairwise FW、完全補正FW、Wolfeの最小ノルム点の4つのFW変種は、一般化された幾何的強い凸性条件下でグローバル線形収束を達成する。
• 線形収束速度は、関数の条件数と多面体の新しい幾何的条件数の積によって支配され、実行可能集合の曲率を捉えている。
• 最適解が多面体の境界上に存在しても、収束定数がゼロから離れていることが保証され、相対的境界に近づくと劣化する従来の結果とは異なり、収束性が保たれる。
• 一般化された強い凸性条件˜μ_f > 0 は、Robinsonの条件よりも厳密に弱く、非厳密凸関数や複数のグローバル最小値が存在する場合にも線形収束を可能にする。
• 収束速度はアフィン不変であり、強い凸性定数やリプシッツ定数といった問題固有のパラメータの事前知識を必要としない。
• 部分最適性誤差に対するタイトなバウンドh_t ≤ g_t² / (2˜μ_f)を提供しており、これは古典的ケースを模倣しているが、標準的なμ_f^Aの代わりに˜μ_fが使われる。