[论文解读] Convex Optimization without Projection Steps

Martin Jaggi|arXiv (Cornell University)|Aug 4, 2011

Sparse and Compressive Sensing Techniques参考文献 93被引用 28

一句话总结

本文提出了一种在紧致凸域上进行凸优化的无投影一阶算法，通过求解线性子问题而非投影来推广Frank-Wolfe方法。该方法实现了O(1/ε)的收敛速率，且ε-准确的对偶间隙，为ℓ₁-正则化和低秩矩阵问题建立了紧致的O(1/ε)稀疏性和秩界，并在Netflix和MovieLens数据集等大规模矩阵补全任务中表现出强大的可扩展性。

ABSTRACT

For the general problem of minimizing a convex function over a compact convex domain, we will investigate a simple iterative approximation algorithm based on the method by Frank & Wolfe 1956, that does not need projection steps in order to stay inside the optimization domain. Instead of a projection step, the linearized problem defined by a current subgradient is solved, which gives a step direction that will naturally stay in the domain. Our framework generalizes the sparse greedy algorithm of Frank & Wolfe and its primal-dual analysis by Clarkson 2010 (and the low-rank SDP approach by Hazan 2008) to arbitrary convex domains. We give a convergence proof guaranteeing ε-small duality gap after O(1/ε) iterations. The method allows us to understand the sparsity of approximate solutions for any l1-regularized convex optimization problem (and for optimization over the simplex), expressed as a function of the approximation quality. We obtain matching upper and lower bounds of Θ(1/ε) for the sparsity for l1-problems. The same bounds apply to low-rank semidefinite optimization with bounded trace, showing that rank O(1/ε) is best possible here as well. As another application, we obtain sparse matrices of O(1/ε) non-zero entries as ε-approximate solutions when optimizing any convex function over a class of diagonally dominant symmetric matrices. We show that our proposed first-order method also applies to nuclear norm and max-norm matrix optimization problems. For nuclear norm regularized optimization, such as matrix completion and low-rank recovery, we demonstrate the practical efficiency and scalability of our algorithm for large matrix problems, as e.g. the Netflix dataset. For general convex optimization over bounded matrix max-norm, our algorithm is the first with a convergence guarantee, to the best of our knowledge.

研究动机与目标

• 开发一种一阶凸优化算法，通过依赖线性子问题的解而非昂贵的投影步骤，避免投影操作。
• 将Frank-Wolfe方法推广至任意紧致凸域，包括具有复杂结构（如半定约束和矩阵范数约束）的域。
• 建立理论收敛保证，实现达到ε-对偶间隙的O(1/ε)迭代复杂度。
• 为ℓ₁-正则化问题推导稀疏性（O(1/ε)）的紧致上下界，为低秩半定问题推导秩（O(1/ε)）的紧致上下界。
• 在使用核范数和最大范数正则化的大型矩阵补全和低秩恢复任务中，展示实际可扩展性和效率。

提出的方法

• 该算法通过在可行域上迭代求解目标函数的线性逼近来确定下降方向，确保所有迭代点保持可行而无需投影。
• 在每次迭代中使用线搜索确定最优步长，沿选定方向最小化目标函数。
• 利用凸函数的曲率度量来界定收敛速率，并推导出O(1/ε)的复杂度保证。
• 通过利用矩阵稀疏性和低秩约束的结构，将该方法扩展至处理核范数和最大范数矩阵优化。
• 引入随机化和随机变体以提升可扩展性并适应大规模场景。
• 通过在有界迹或核范数域上将问题表述为凸优化，将该算法应用于矩阵补全和鲁棒PCA。

实验结果

研究问题

• RQ1 能否设计一种无投影步骤的一阶凸优化方法，同时保持收敛保证？
• RQ2 ℓ₁-正则化和低秩矩阵问题的ε-近似解中，可实现的最紧密稀疏性或秩为何？
• RQ3 在大规模矩阵分解问题中，该方法与现有最先进算法相比在实践中表现如何？
• RQ4 Frank-Wolfe风格方法能否推广至具有理论收敛保证的核范数和最大范数正则化矩阵优化？
• RQ5 该方法在Netflix和MovieLens等真实世界数据集上的计算成本和可扩展性如何？

主要发现

• 该算法实现了O(1/ε)的收敛速率，在O(1/ε)次迭代后保证ε-对偶间隙，与经典梯度下降的复杂度相匹配。
• 对于ℓ₁-正则化问题，ε-近似解的稀疏性被Θ(1/ε)所界定，上下界均被建立。
• 对于有界迹的低秩半定优化问题，ε-近似解的秩同样被Θ(1/ε)所界定，证明了最优性。
• 在MovieLens 10M数据集上，该算法在52分钟（400次迭代）内达到测试RMSE为0.8573，速度和可扩展性优于先前方法。
• 在Netflix数据集上，该算法在13.6小时（200次迭代）内达到具有竞争力的RMSE 0.9478，尽管未使用后处理启发式方法，但运行时间仍优于Soft Impute方法。
• 据作者所知，该方法是首个为最大范数正则化矩阵优化提供收敛保证的方法。