[论文解读] Convergence Rate of Frank-Wolfe for Non-Convex Objectives

Simon Lacoste-Julien|arXiv (Cornell University)|Jul 1, 2016

Stochastic Gradient Optimization Techniques参考文献 5被引用 103

一句话总结

该论文证明在 Lipschitz 连续梯度的非凸目标下，Frank-Wolfe 算法以 O(1/√t) 的速率达到一个驻点，使用仿射不变分析。

ABSTRACT

We give a simple proof that the Frank-Wolfe algorithm obtains a stationary point at a rate of $O(1/\sqrt{t})$ on non-convex objectives with a Lipschitz continuous gradient. Our analysis is affine invariant and is the first, to the best of our knowledge, giving a similar rate to what was already proven for projected gradient methods (though on slightly different measures of stationarity).

研究动机与目标

• 在一个凸且紧的定义域上，对非凸目标进行动机说明与 Frank-Wolfe 分析。
• 在 Lipschitz 梯度假设下，建立一个仿射不变的收敛速率到驻点。
• 给出一个与投影梯度方法已知速率相并行的界限。
• 阐明 FW-gap 如何作为一个有意义的、仿射不变的驻点量度。

提出的方法

• 将 FW gap g_t 定义为 max_{s ∈ M} ⟨s - x^{(t)}, -∇f(x^{(t)})⟩，并将其用作驻点量度。
• 通过曲率常数 C_f 与线搜索或仿射不变二次上界步，推导出下降不等式，从而得到 f(x^{(t+1)}) 的界限。
• 推导速率 min_{0≤k≤t} g_k ≤ max{2h_0, C_f} / √(t+1)，其中 h_0 = f(x^{(0)}) - min_{x ∈ M} f(x)。
• 假设在紧致凸域 M 上，f 具有有限的曲率常数 C_f，这来自于 Lipschitz 梯度假设。
• 利用一个仿射不变的下降引理，将每次迭代的进展与当前的 FW gap 联系起来。
• 讨论界限的含义及其与驻点收敛的关系。

实验结果

研究问题

• RQ1 将 Frank-Wolfe 应用于具有 Lipschitz 梯度的非凸目标时，其收敛速率是多少？
• RQ2 仿射不变分析是否能够给出与投影梯度方法在非凸问题中的速率相当的结论？
• RQ3 在受约束的非凸情形中，FW gap 如何作为驻点的量度？
• RQ4 在何种条件下（曲率常数有限）可以保证 FW 的 O(1/√t) 速率？
• RQ5 线搜索与固定步长变体在实现该速率方面有何差异？

主要发现

• 在 t 次迭代后遇到的最小 FW gap 为 O(1/√t)。
• 一个具体界限：min_{0≤k≤t} g_k ≤ max{2h_0, C_f} / √(t+1)。
• 该结果适用于在紧致凸域 M 上、具有 Lipschitz 梯度且曲率常数有限 C_f 的非凸 f。
• 若目标在 M 的某子集上凸，则 FW gap 对该子集上的次优度有上界。
• 该速率与在仿射不变框架内投影梯度方法所见的 O(1/√t) 的阶数相匹配。