[论文解读] Spectral Frank-Wolfe Algorithm: Strict Complementarity and Linear Convergence

Lijun Ding, Yingjie Fei+2 more|arXiv (Cornell University)|Jun 2, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

本文提出了一种新型的弗兰克-沃尔夫（Frank-Wolfe）方法变体——谱弗兰克-沃尔夫（Spectral Frank-Wolfe, SpecFW）算法，用于在谱体（spectrahedra）上进行凸优化。该算法在每次迭代中计算梯度的多个特征向量，并求解一个小型半定规划（SDP）子问题。在严格互补性条件下，该方法可实现线性收敛，该条件确保了二次增长性，从而使得即使最优解为低秩但非秩一时，也能实现快速收敛。

ABSTRACT

We develop a novel variant of the classical Frank-Wolfe algorithm, which we call spectral Frank-Wolfe, for convex optimization over a spectrahedron. The spectral Frank-Wolfe algorithm has a novel ingredient: it computes a few eigenvectors of the gradient and solves a small-scale SDP in each iteration. Such procedure overcomes slow convergence of the classical Frank-Wolfe algorithm due to ignoring eigenvalue coalescence. We demonstrate that strict complementarity of the optimization problem is key to proving linear convergence of various algorithms, such as the spectral Frank-Wolfe algorithm as well as the projected gradient method and its accelerated version.

研究动机与目标

• 解决经典弗兰克-沃尔夫方法在低秩矩阵恢复问题中因特征值聚集而导致的收敛缓慢问题。
• 克服现有弗兰克-沃尔夫变体在实现线性收敛时对解为秩一的假设限制。
• 建立严格互补性与谱体上一阶方法线性收敛之间的理论基础。
• 设计一种实用算法，在保持无投影效率的同时，实现低秩场景下的更快收敛。

提出的方法

• 提出一种新型弗兰克-沃尔夫变体——谱弗兰克-沃尔夫（SpecFW），在每次迭代中计算梯度海森矩阵近似值的前 $k$ 个特征向量。
• 在由这些特征向量张成的 $k$-维子空间上求解一个小型半定规划（SDP），以更新迭代点。
• 采用线搜索或固定步长策略，将当前迭代点与子问题得到的新低秩解进行组合。
• 利用谱体的结构特性以及线性映射 $\mathcal{A}$ 的稀疏性，通过Lanczos方法高效计算特征向量。
• 引入子问题公式（10），将移位梯度矩阵的特征值投影到概率单纯形上。
• 通过利用最优解处的严格互补性条件，确保收敛性，该条件保证了 $\nabla f(X_\star)$ 的第 $r_{\star}$ 个与第 $(r_{\star}+1)$ 个特征值之间存在间隙。

实验结果

研究问题

• RQ1 当最优解非秩一时，是否存在一种弗兰克-沃尔夫变体可在低秩矩阵恢复问题中实现线性收敛？
• RQ2 何种结构性条件可使一阶方法（如弗兰克-沃尔夫和投影梯度法）在谱体上实现线性收敛？
• RQ3 为何每次迭代中计算多个特征向量并求解小型SDP子问题，相比经典弗兰克-沃尔夫能显著提升收敛速度？
• RQ4 当子问题维度 $k$ 小于或大于真实秩 $r_\star$ 时，$k$ 的取值对收敛性有何影响？
• RQ5 在实际的低秩矩阵恢复问题（如矩阵感知）中，严格互补性是否可被经验验证？

主要发现

• 谱弗兰克-沃尔夫算法在严格互补性条件下可实现线性收敛，这是在谱体上实现快速收敛的关键条件。
• 实验结果表明，当 $n=100,200,400,600$ 时，矩阵感知问题的最优解秩为 $r_\star=3$，且特征值间隙 $\lambda_{n-3}(\nabla f(X_\star)) - \lambda_n(\nabla f(X_\star))$ 较大（288.06 至 1358.62），证实了严格互补性。
• 在 $k=4>r_\star$ 的实验中，SpecFW 在迭代次数和运行时间上均优于 FW 和 G-BlockFW，尤其在 $n=600$ 时优势显著。
• 当 $k=2<r_\star$ 时，G-BlockFW 收敛停滞在约 $10^{-1}$，而 SpecFW 仍保持快速收敛，表明其对 $k$ 的误设具有鲁棒性。
• 所有测试维度下的恢复误差均低于 $0.0013$，表明能高精度恢复真实的低秩解。
• 子问题求解器（FASTA）在最终收敛阶段引入了轻微振荡，提示子问题求解精度仍有进一步优化空间。