[論文レビュー] Convergence Rate of Frank-Wolfe for Non-Convex Objectives

Simon Lacoste-Julien|arXiv (Cornell University)|Jul 1, 2016

Stochastic Gradient Optimization Techniques参考文献 5被引用数 103

ひとこと要約

本論文は、フランク-ウルフ法が Lipschitz 勾配を持つ非凸目的関数に対して、アフィーン不変解析を用いて、O(1/√t) の速さで停留点に到達することを示す。

ABSTRACT

We give a simple proof that the Frank-Wolfe algorithm obtains a stationary point at a rate of $O(1/\sqrt{t})$ on non-convex objectives with a Lipschitz continuous gradient. Our analysis is affine invariant and is the first, to the best of our knowledge, giving a similar rate to what was already proven for projected gradient methods (though on slightly different measures of stationarity).

研究の動機と目的

• 凸でコンパクトな定義域上の非凸目的関数に対するフランク-ウルフの動機付けと分析。
• Lipschitz 勾配仮定の下で停留性へのアフィーン不変収束レートを確立。
• 射影勾配法と同等のレートを示す境界を提供。
• FW ギャップが意味のある、アフィーン不変な停留性指標としてどのように機能するかを明確化。

提案手法

• FW ギャップ g_t を max_{s in M} ⟨s - x^{(t)}, -∇f(x^{(t)})⟩として定義し、停留性の指標として用いる。
• 曲率定数 C_f とラインサーチまたはアフィーン不変の二次上界ステップを用いて降下不等式を示し、f(x^{(t+1)}) に対する上界につなげる。
• min_{0≤k≤t} g_k ≤ max{2h_0, C_f} / √(t+1), ただし h_0 = f(x^{(0)}) - min_{x in M} f(x)。
• 有限の曲率定数 C_f を満たす compact convex な領域 M 上での f に対して成立する、 Lipschitz 勾配仮定から導かれる仮定。
• 現在の FW ギャップと各反復の進展との関係を表すアフィーン不変の降下補題を活用。
• 境界の解釈と停留点の収束との関係について議論。

実験結果

リサーチクエスチョン

• RQ1 Lipschitz 勾配を持つ非凸目的関数に対して、フランク-ウルフ法の収束レートはどうなるか。
• RQ2 アフィーン不変解析で非凸問題に対して射影勾配法と同等のレートを得られるか。
• RQ3 制約付きの非凸設定において、フランク-ウルフギャップは停留性の指標としてどのように機能するか。
• RQ4 曲率定数が有限である条件の下で、FW に O(1/√t) レートを保証できるか。
• RQ5 ラインサーチと固定ステップ変種はレートの達成にどう差があるか。

主な発見

• 最小 FW ギャップは t 回の反復後に O(1/√t) のオーダー。
• 具体的な境界: min_{0≤k≤t} g_k ≤ max{2h_0, C} / √(t+1)。
• 本結果は、 Lipschitz 勾配と有限の曲率定数 C_f を満たす compact convex な領域 M 上の非凸 f に適用される。
• 目的関数が M の部分集合で凸である場合、FW ギャップはその部分集合に対するサブ最適性を上界する。
• レートは、アフィーン不変の枠組み内で射影勾配法と同等の O(1/√t) のオーダーに一致する。