[论文解读] Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls

Zeyuan Allen-Zhu, Elad Hazan+2 more|arXiv (Cornell University)|Aug 7, 2017

Stochastic Gradient Optimization Techniques参考文献 11被引用 15

一句话总结

本文提出 blockFW，一种用于迹范数球上凸优化的 Frank-Wolfe 算法的低秩 k 变体。通过在标准 Frank-Wolfe 中用 k-SVD 计算替代 1-SVD 步骤，当最优解的秩至多为 k 时，blockFW 实现了线性收敛——收敛速度对误差容差呈对数关系，显著提升了收敛速度和总时间复杂度，优于标准 Frank-Wolfe 及其先前变体。

ABSTRACT

We propose a rank-$k$ variant of the classical Frank-Wolfe algorithm to solve convex optimization over a trace-norm ball. Our algorithm replaces the top singular-vector computation ($1$-SVD) in Frank-Wolfe with a top-$k$ singular-vector computation ($k$-SVD), which can be done by repeatedly applying $1$-SVD $k$ times. Alternatively, our algorithm can be viewed as a rank-$k$ restricted version of projected gradient descent. We show that our algorithm has a linear convergence rate when the objective function is smooth and strongly convex, and the optimal solution has rank at most $k$. This improves the convergence rate and the total time complexity of the Frank-Wolfe method and its variants.

研究动机与目标

• 解决标准 Frank-Wolfe 在迹范数球上对光滑且强凸函数收敛速度慢的问题。
• 探究 Frank-Wolfe 的低秩 k 变体是否能在保持较低每次迭代成本的同时，实现投影梯度下降的更快收敛速率。
• 通过在每次迭代中使用 k-SVD 替代 1-SVD，减少达到收敛所需的 1-SVD 计算总次数。
• 在优化过程中实现秩参数 k 的自动选择，以提升实际效率。

提出的方法

• 提出 blockFW，一种类 Frank-Wolfe 算法，每次迭代中计算负梯度加上正则化项的前 k 个奇异向量（k-SVD）。
• 使用固定步长 η，并将迭代更新为 Xt+1 = Xt + η(Vt − Xt)，其中 Vt 是 (−∇f(Xt) + βηXt) 的 k-SVD 所得的低秩矩阵。
• 将 blockFW 视为投影梯度下降的低秩 k 限制版本，在光滑性和强凸性条件下提供收敛保证。
• 采用惰性更新策略，通过额外一次 1-SVD 从 k-SVD 分解中计算 (k+1)-SVD，实现高效的秩自适应。
• 引入自动 k 选择机制：持续增加 k，直到每增加一个奇异向量带来的边际收益低于阈值。
• 使用精确线搜索，并通过迭代应用 1-SVD 或块 Krylov 方法实现 k-SVD 的高效计算。

实验结果

研究问题

• RQ1 Frank-Wolfe 的低秩 k 变体是否能在迹范数球上对光滑且强凸函数实现线性收敛？
• RQ2 在 Frank-Wolfe 中用 k-SVD 替代 1-SVD 是否能减少与标准 Frank-Wolfe 和 Garber 方法相比的 1-SVD 计算总次数？
• RQ3 是否可以在不预先知道解的秩的情况下，在优化过程中自动选择最优秩 k？
• RQ4 当最优解为低秩时，blockFW 是否在实践中优于标准 Frank-Wolfe 和 Garber 算法？
• RQ5 每次迭代中 k-SVD 的计算成本是否足够低，以使迭代次数的减少能够带来实际的加速收益？

主要发现

• 当目标函数 β-光滑且 α-强凸，且最优解的秩至多为 k 时，blockFW 的收敛速度为 O(β/α log(1/ε)) 次迭代。
• 1-SVD 的总计算次数为 T = O(kβ/α log(1/ε))，显著低于标准 Frank-Wolfe 的 O(β/ε) 次迭代。
• 当最优解的最小非零奇异值较小时，blockFW 在 1-SVD 复杂度方面优于 Garber 的算法。
• 自动 k 选择机制在优化过程中成功自适应秩，显著提升了低秩问题上的实际性能。
• 在合成数据、MovieLens 和 MNIST 上的实验表明，当 θ 较小时（即最优解为低秩时），blockFW 的收敛速度优于 FW 和 Garber 算法。
• 该算法在保持较低每次迭代成本的同时实现更快收敛，适用于全 SVD 计算不可行的大规模问题。