[論文レビュー] An Affine Invariant Linear Convergence Analysis for Frank-Wolfe Algorithms

Simon Lacoste-Julien, Martin Jaggi|arXiv (Cornell University)|Dec 30, 2013

Stochastic Gradient Optimization Techniques参考文献 19被引用数 34

ひとこと要約

本稿では、多面体領域上の強凸目的関数に対して、問題固有のパラメータの知識を必要とせず、アフィン不変の線形収束解析をFrank-Wolfeアルゴリズムの遠方ステップを用いて提示する。収束速度は最適解の位置に依存せず、ドメインの幾何構造にのみ依存し、目的関数が大域的強凸性を満たさない場合や複数の最小値を有する場合でも幾何的収束が保証される。

ABSTRACT

We study the linear convergence of variants of the Frank-Wolfe algorithms for some classes of strongly convex problems, using only affine-invariant quantities. As in Guelat & Marcotte (1986), we show the linear convergence of the standard Frank-Wolfe algorithm when the solution is in the interior of the domain, but with affine invariant constants. We also show the linear convergence of the away-steps variant of the Frank-Wolfe algorithm, but with constants which only depend on the geometry of the domain, and not any property of the location of the optimal solution. Running these algorithms does not require knowing any problem specific parameters.

研究の動機と目的

• 多面体ドメイン上での強凸目的関数に対して、遠方ステップを用いたFrank-Wolfeアルゴリズムの線形収束を確立すること。
• 問題固有のパラメータや変数変換に依存しない、アフィン不変の収束解析を構築すること。
• 最適解の位置に関する仮定やRobinsonの条件に依存しないこと。
• 目的関数が大域的強凸性を満たさない場合や複数のグローバル最小値を有する場合でも線形収束が可能であることを示すこと。
• 収束速度の上限を、最適解の位置ではなくドメインの幾何的構造にのみ依存する形で提示すること。

提案手法

• 変数空間のアフィン変換に対して不変となる、遠方ステップを含むFrank-Wolfeアルゴリズムのアフィン不変形式を用いる。
• 最適性ギャップの減少を勾配の方向内積と関連付けるためのギャップ不等式（式18）を導入する。
• 各反復で最適ステップサイズを線形探索により選択し、目的関数値の十分な減少を保証する。
• 目的関数の2次変動を制限するための曲率定数 $ C_f^{ ext{A}} $ を遠方ステップ方向について定義する。
• 目的関数の減少量に対する二次上界を最小化することで幾何的減少率を導出し、最悪ケースの収束定数 $ ho_f^{ ext{A}} $ を得る。
• 境界ステップとドロップステップのケースを別々に分析し、非理想的なステップに対しても幾何的減少率が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 遠方ステップを用いたFrank-Wolfeアルゴリズムは、問題固有のパラメータを必要とせず、多面体ドメイン上での強凸目的関数に対して線形収束を達成できるか？
• RQ2 収束速度はドメイン内での最適解の位置に依存するのか、それともこれを独立にできるか？
• RQ3 収束解析をアフィン不変にできるか、つまり変数のアフィン変換に対しても収束挙動が保たれるか？
• RQ4 目的関数が大域的強凸性を満たさない場合や複数のグローバル最小値を有する場合でも線形収束は可能か？
• RQ5 ドメインの幾何的性質のみを用いて保証できる、最もタイトな最悪ケース収束速度は何か？

主な発見

• 遠方ステップを用いたFrank-Wolfeアルゴリズムは、任意の多面体ドメイン上での強凸目的関数に対して、収束定数 $ ho_f^{ ext{A}} $ を用いて線形収束（幾何的収束）を達成する。この収束定数はドメインの幾何構造にのみ依存する。
• 収束速度はアフィン不変であるため、変数空間のアフィン変換に影響を受けない。
• 解析にはRobinsonの条件や最適解がドメインの内部にあるなどの仮定を必要としない。
• 目的関数が大域的強凸性を満たさない場合や複数のグローバル最小値を有する場合でも、線形収束が確立される。
• 最悪ケースの収束速度は $ 1 - ho_f^{ ext{A}} $ で抑えられ、ここで $ ho_f^{ ext{A}} riangleq rac{ u}{4C_f^{ ext{A}}} $ であり、$ u $ は幾何的強凸性パラメータ、$ C_f^{ ext{A}} $ は遠方ステップ方向の曲率定数である。
• 最大ステップサイズをとる「悪い」ドロップステップの数は $ D_k riangleq rac{k}{2} $ で抑えられ、収束プロセスに支配的にならないことが保証される。