[论文解读] Faster Rates for the Frank-Wolfe Method over Strongly-Convex Sets

Dan Garber, Elad Hazan|arXiv (Cornell University)|Jun 5, 2014

Sparse and Compressive Sensing Techniques参考文献 24被引用 99

一句话总结

该论文证明，当在强凸集上进行优化时，Frank-Wolfe方法可实现 $O(1/t^2)$ 的更快收敛速率，显著优于标准的 $O(1/t)$ 速率。该方法保持无投影特性，并利用 $ frac{p}$、Schatten 和组范数等范数的闭式线性优化，这些范数被证明是强凸的，同时保持计算效率。

ABSTRACT

The Frank-Wolfe method (a.k.a. conditional gradient algorithm) for smooth optimization has regained much interest in recent years in the context of large scale optimization and machine learning. A key advantage of the method is that it avoids projections - the computational bottleneck in many applications - replacing it by a linear optimization step. Despite this advantage, the known convergence rates of the FW method fall behind standard first order methods for most settings of interest. It is an active line of research to derive faster linear optimization-based algorithms for various settings of convex optimization. In this paper we consider the special case of optimization over strongly convex sets, for which we prove that the vanila FW method converges at a rate of $\frac{1}{t^2}$. This gives a quadratic improvement in convergence rate compared to the general case, in which convergence is of the order $\frac{1}{t}$, and known to be tight. We show that various balls induced by $\ell_p$ norms, Schatten norms and group norms are strongly convex on one hand and on the other hand, linear optimization over these sets is straightforward and admits a closed-form solution. We further show how several previous fast-rate results for the FW method follow easily from our analysis.

研究动机与目标

• 通过为Frank-Wolfe算法实现更快的收敛速率，弥合无投影方法与最优一阶方法之间的差距。
• 识别并表征由常见正则化范数（如 $\ell_p$、Schatten、组范数）诱导出的强凸集。
• 证明在这些集合上进行线性优化仍具有可计算性，并存在闭式解。
• 通过单一理论框架统一并推广先前关于Frank-Wolfe的快速率结果。
• 探讨在可行集强凸性条件下，是否可实现快于 $O(1/t^2)$ 的收敛速率。

提出的方法

• 理论分析证明，当可行集为强凸集，且目标函数光滑且凸时，原始Frank-Wolfe方法的收敛速率为 $O(1/t^2)$。
• 论文引入并形式化了集合关于范数的强凸性概念，通过类似曲率的参数进行定义。
• 推导出 $\ell_p$ 球（$p \in (1,2]$）、Schatten $p$-范数球以及 $\ell_{s,p}$ 组范数球的显式强凸性参数。
• 对于每一类范数，证明在对应球上进行线性优化可通过奇异值或逐行软阈值化实现闭式解。
• 分析依赖于对偶性与范数性质，特别是Hölder不等式及其共轭指数的关系。
• 表明已知的Frank-Wolfe变体（如带远离步）的快速率结果可作为主收敛定理的推论。

实验结果

研究问题

• RQ1 即使不进行额外算法修改，原始Frank-Wolfe方法在可行集为强凸集时是否可实现 $O(1/t^2)$ 收敛？
• RQ2 机器学习中常见的哪些正则化范数可诱导出强凸可行集，同时保持高效的线性优化？
• RQ3 是否可在不假设目标函数强凸性的情况下实现 $O(1/t^2)$ 的收敛速率？
• RQ4 现有的Frank-Wolfe变体（如带远离步）的快速率结果是否可统一地由集合强凸性分析推导？
• RQ5 能否在强凸集上实现对数收敛速率（$O(\log(1/\epsilon))$），与投影梯度方法相匹配？

主要发现

• 当可行集为强凸集时，Frank-Wolfe方法可实现 $O(1/t^2)$ 的收敛速率，相较于标准的 $O(1/t)$ 速率实现二次提升。
• $\ell_p$ 球（$p \in (1,2]$）关于 $\|\cdot\|_{S(p)}$ 范数为 $\frac{p-1}{r}$-强凸，关于Frobenius范数为 $\frac{(p-1)\min(m,n)^{1/2 - 1/p}}{r}$-强凸。
• Schatten $p$-范数球 $\mathbb{B}_{S(p)}(r)$ 关于Schatten范数和Frobenius范数均为强凸，且其上的线性优化可通过SVD和软阈值化实现闭式解。
• $\ell_{s,p}$ 组范数球 $\mathbb{B}_{s,p}(r)$ 关于 $\|\cdot\|_{s,p}$ 范数为 $\frac{(s-1)(p-1)}{(s+p-2)r}$-强凸，关于Frobenius范数为 $n^{1/s - 1/2}m^{1/p - 1/2}\frac{(s-1)(p-1)}{(s+p-2)r}$-强凸。
• 这些集合上的线性优化可计算为闭式解：Schatten范数通过SVD和奇异值软阈值化，组范数通过逐行阈值化。
• 理论结果统一并推广了先前关于Frank-Wolfe的快速率结果，表明它们是主收敛定理在集合强凸性条件下的特例。