[论文解读] Frank-Wolfe Method is Automatically Adaptive to Error Bound Condition

Yi Xu, Tianbao Yang|arXiv (Cornell University)|Oct 10, 2018

Stochastic Gradient Optimization Techniques参考文献 19被引用 7

一句话总结

本文证明了带线搜索的Frank-Wolfe（FW）方法在凸优化中能自动适应误差界条件，实现改进的迭代复杂度 $O(\max(1/\epsilon^{1-\theta}, \log(1/\epsilon)))$，其中 $\theta \in [0,1]$。当目标函数为强凸且约束集由强凸函数定义时，该方法可实现快速的 $O(1/t^2)$ 收敛速率。

ABSTRACT

Error bound condition has recently gained revived interest in optimization. It has been leveraged to derive faster convergence for many popular algorithms, including subgradient methods, proximal gradient method and accelerated proximal gradient method. However, it is still unclear whether the Frank-Wolfe (FW) method can enjoy faster convergence under error bound condition. In this short note, we give an affirmative answer to this question. We show that the FW method (with a line search for the step size) for optimization over a strongly convex set is automatically adaptive to the error bound condition of the problem. In particular, the iteration complexity of FW can be characterized by $O(\max(1/ε^{1-θ}, \log(1/ε)))$ where $θ\in[0,1]$ is a constant that characterizes the error bound condition. Our results imply that if the constrained set is characterized by a strongly convex function and the objective function can achieve a smaller value outside the considered domain, then the FW method enjoys a fast rate of $O(1/t^2)$.

研究动机与目标

• 研究Frank-Wolfe方法在误差界条件下是否能实现更快的收敛速度，因为其他一阶方法在该条件下具有改进的收敛速率。
• 证明带线搜索的FW方法本质上能自适应误差界条件，而无需事先知晓参数 $\theta$。
• 以误差界参数 $\theta \in [0,1]$ 表示FW方法的迭代复杂度。
• 证明当目标函数和约束集均为强凸时，FW方法可实现 $O(1/t^2)$ 的收敛速率。

提出的方法

• 分析聚焦于采用线搜索选择步长的Frank-Wolfe方法，该方法避免了对光滑常数的依赖。
• 该方法利用误差界条件，其定义为 $\|\nabla f(x)\| \geq \kappa \cdot \text{dist}(x, X^*)^{\theta}$，其中 $\theta \in [0,1]$，以推导改进的收敛速率。
• 收敛性分析将误差界条件的结构与FW更新规则相结合，以 $\theta$ 为参数界定向次优性间隙。
• 证明技术涉及将每次迭代中目标函数值的下降量与到最优集的距离及误差界参数 $\theta$ 相关联。
• 该分析适用于在强凸可行集上定义的光滑及强凸目标函数。
• 结果表明，该方法能自动适应 $\theta$，而无需显式调参或事先知晓该参数。

实验结果

研究问题

• RQ1 Frank-Wolfe方法在误差界条件下是否能实现比其他一阶方法更快的收敛速率？
• RQ2 FW方法是否本质上能自适应误差界参数 $\theta$，而无需事先知晓或修改算法？
• RQ3 当误差界条件以参数 $\theta \in [0,1]$ 成立时，FW方法的精确迭代复杂度是什么？
• RQ4 在何种条件下，FW方法能实现 $O(1/t^2)$ 的收敛速率？

主要发现

• 在误差界条件参数 $\theta \in [0,1]$ 下，带线搜索的Frank-Wolfe方法实现 $O(\max(1/\epsilon^{1-\theta}, \log(1/\epsilon)))$ 的迭代复杂度。
• 当 $\theta = 1$ 时，复杂度降低为 $O(\log(1/\epsilon))$，表明具有对数收敛速率。
• 当 $\theta < 1$ 时，复杂度为 $O(1/\epsilon^{1-\theta})$，优于FW方法的标准 $O(1/\epsilon)$ 速率。
• 若目标函数为强凸且约束集由强凸函数定义，则该方法可实现快速的 $O(1/t^2)$ 收敛速率。
• 该方法能自动适应 $\theta$，即无需事先知晓 $\theta$ 即可实现改进的收敛速率。