[论文解读] Faster Projection-free Convex Optimization over the Spectrahedron

Dan Garber|arXiv (Cornell University)|May 20, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 11

一句话总结

本文提出了一种新型的条件梯度方法，用于在谱单纯形上进行凸优化，通过引入秩一正则化和自适应步长，实现了比标准条件梯度方法更快的收敛速率。该方法保持了较低的每次迭代成本——仅需一次主特征向量计算——同时实现了误差界显著改进，其误差界缩放为 $ O\left(\min\left\{\frac{\beta}{t}, \left(\frac{\beta\sqrt{\mathrm{rank}(\mathbf{X}^*)}}{\alpha^{1/4}t}\right)^{4/3}, \left(\frac{\beta}{\sqrt{\alpha}\lambda_{\min}(\mathbf{X}^*)t}\right)^2\right\} \right) $，在最优解为低秩时，显著优于标准CG方法。

ABSTRACT

Minimizing a convex function over the spectrahedron, i.e., the set of all positive semidefinite matrices with unit trace, is an important optimization task with many applications in optimization, machine learning, and signal processing. It is also notoriously difficult to solve in large-scale since standard techniques require expensive matrix decompositions. An alternative, is the conditional gradient method (aka Frank-Wolfe algorithm) that regained much interest in recent years, mostly due to its application to this specific setting. The key benefit of the CG method is that it avoids expensive matrix decompositions all together, and simply requires a single eigenvector computation per iteration, which is much more efficient. On the downside, the CG method, in general, converges with an inferior rate. The error for minimizing a $β$-smooth function after $t$ iterations scales like $β/t$. This convergence rate does not improve even if the function is also strongly convex. In this work we present a modification of the CG method tailored for convex optimization over the spectrahedron. The per-iteration complexity of the method is essentially identical to that of the standard CG method: only a single eigenvecor computation is required. For minimizing an $α$-strongly convex and $β$-smooth function, the expected approximation error of the method after $t$ iterations is: $$O\left({\min\{\frac{β}{t} ,\left({\frac{β\sqrt{ extrm{rank}( extbf{X}^*)}}{α^{1/4}t}} ight)^{4/3}, \left({\fracβ{\sqrtαλ_{\min}( extbf{X}^*)t}} ight)^{2}\}} ight) ,$$ where $ extbf{X}^*$ is the optimal solution. To the best of our knowledge, this is the first result that attains provably faster convergence rates for a CG variant for optimization over the spectrahedron. We also present encouraging preliminary empirical results.

研究动机与目标

• 为解决标准条件梯度（CG）方法在谱单纯形上进行凸优化时收敛速度缓慢的问题，即使在强凸性条件下，其收敛速率仍为 $ O(\beta/t) $。
• 开发一种CG变体，保持较低的每次迭代成本（仅需一次特征向量计算），同时实现可证明更快的收敛速率。
• 改善大规模问题中最优解为低秩时的精度-秩权衡，例如矩阵补全问题。
• 为收敛速率提供理论保证，其依赖于最优解的秩和最小非零特征值。
• 通过实验验证该方法在矩阵补全任务中相对于标准CG和远离步CG的优越性。

提出的方法

• 提出一种基于解的秩的正则化项的秩一正则化条件梯度（ROR-CG）方法，通过在标准CG中引入正则化项进行改进。
• 采用自适应步长规则 $ \eta_t = \frac{18}{t+8} $，该规则基于理论分析推导得出，以平衡收敛速度与稳定性。
• 采用贪心选择策略在每次迭代中选取秩一分量，相比随机采样，能获得更优的下降方向。
• 在计算搜索方向后，应用精确线搜索以优化步长，从而提升实际性能。
• 通过标准约简技术，将核范数约束问题转化为谱单纯形优化问题。
• 利用在谱单纯形上进行线性最小化可简化为计算主特征向量的特性，从而保持较低的每次迭代成本。

实验结果

研究问题

• RQ1 能否在不增加每次迭代成本的前提下，使谱单纯形上的条件梯度变体实现比标准CG更快的收敛速度？
• RQ2 最优解的秩和最小非零特征值如何影响投影-free方法中的收敛速率？
• RQ3 秩一正则化和自适应步长是否能为谱单纯形上的强凸且光滑目标函数提供可证明更快的收敛速度？
• RQ4 所提出的方法是否能改善如矩阵补全等低秩矩阵恢复问题中的精度-秩权衡？
• RQ5 理论上的收敛速率改进是否能在真实世界数据集上转化为实际性能提升？

主要发现

• 所提方法实现了 $ O\left(\min\left\{\frac{β}{t}, \left(\frac{β\sqrt{\mathrm{rank}(\mathbf{X}^*)}}{α^{1/4}t}\right)^{4/3}, \left(\frac{β}{\sqrt{α}\lambda_{\min}(\mathbf{X}^*)t}\right)^2\right\} \right) $ 的期望近似误差，其收敛速率可被证明快于标准CG方法的 $ O(β/t) $ 速率。
• 当最优解为低秩时，该方法的收敛速率显著提升，相较于标准CG，提供了更优的精度-秩权衡。
• 该方法保持了与标准CG相同的每次迭代复杂度——仅需一次主特征向量计算——因此在大规模问题上具有良好的可扩展性。
• 在MovieLens数据集上的实验结果表明，ROR-CG在每次迭代中实现目标函数值减少的速度快于标准CG和远离步CG。
• 尽管每次迭代的计算成本略有增加，但贪心分量选择和线搜索过程显著提升了实际性能。
• 据作者所知，这是首个在强凸性条件下，针对谱单纯形优化实现可证明快于标准CG收敛速率的方法。