[论文解读] A Second-Order Method for Strongly Convex L1-Regularization Problems

Kimon Fountoulakis, Jacek Gondzio|arXiv (Cornell University)|Jun 23, 2013

Sparse and Compressive Sensing Techniques参考文献 31被引用 21

一句话总结

本文提出了一种原始-对偶牛顿共轭梯度（pdNCG）方法，用于求解强凸的ℓ₁-正则化问题，通过使用平滑的伪-Huber逼近来实现二阶优化。该方法实现了全局收敛性、局部超线性收敛速率以及最坏情况下的迭代复杂度，同时通过无矩阵CG方法保持了低内存使用，在稀疏最小二乘问题和真实世界机器学习问题上优于一阶方法。

ABSTRACT

In this paper a robust second-order method is developed for the solution of strongly convex l1-regularized problems. The main aim is to make the proposed method as inexpensive as possible, while even difficult problems can be efficiently solved. The proposed approach is a primal-dual Newton Conjugate Gradients (pdNCG) method. Convergence properties of pdNCG are studied and worst-case iteration complexity is established. Numerical results are presented on synthetic sparse least-squares problems and real world machine learning problems.

研究动机与目标

• 解决一阶方法在病态ℓ₁-正则化问题中因缺乏曲率信息而导致的效率低下问题。
• 开发一种保留快速收敛性的二阶方法，同时避免高内存或计算成本。
• 实现对大规模稀疏机器学习问题的稳健、可扩展求解，这些问题具有强凸性和ℓ₁正则化。
• 为无矩阵pdNCG方法提供收敛性分析，包括最坏情况下的迭代复杂度。
• 在合成数据集和真实世界数据集上，展示所提pdNCG方法相对于FISTA和PCDM等一阶方法的实际优越性。

提出的方法

• 使用平滑的伪-Huber函数逼近不可微的ℓ₁-范数，从而支持二阶导数计算。
• 将问题表述为最小化一个平滑且强凸的函数：fₜᵘ(x) = τψᵤ(x) + φ(x)，其中ψᵤ为伪-Huber逼近函数。
• 在无矩阵设置下，采用原始-对偶牛顿法，并通过共轭梯度（CG）方法计算不精确的牛顿步长。
• 在CG中采用基于近似海森矩阵信息的变度量，实现在无需显式分解的情况下高效搜索方向。
• 使用回溯线搜索并设置最大迭代次数，以确保充分下降的同时避免过多迭代。
• 利用变度量空间中CG的性质，推导出全局和局部收敛速率以及最坏情况复杂度边界。

实验结果

研究问题

• RQ1 能否使一种二阶方法在大规模ℓ₁-正则化问题上同时具备高效性和可扩展性？
• RQ2 如何在不进行矩阵分解的情况下有效利用ℓ₁-正则化问题中的二阶曲率信息？
• RQ3 对于强凸的ℓ₁-正则化问题，无矩阵原始-对偶牛顿-CG方法的最坏情况迭代复杂度是多少？
• RQ4 平滑的ℓ₁-范数逼近能否实现具有全局收敛性保证的鲁棒二阶优化？
• RQ5 在真实世界机器学习问题中，所提出的pdNCG方法与FISTA和PCDM等一阶方法相比在实践中表现如何？

主要发现

• pdNCG方法实现了全局收敛性和局部超线性收敛速率，并具有明确的快速收敛区域。
• 在强凸性和利普希茨连续海森矩阵假设下，建立了pdNCG方法的最坏情况迭代复杂度。
• 在合成稀疏最小二乘问题上，pdNCG在高效降低目标函数方面优于FISTA和PCDM。
• 在六个真实世界机器学习问题（如real-sim、news20、webspam）上，pdNCG表现出比FISTA和PCDM更快的收敛速度，尤其在早期迭代中优势明显。
• 该方法通过使用无矩阵CG保持了低内存使用，并避免了矩阵分解，使其适用于大规模问题。
• 数值结果表明，通过交叉验证找到最优τ值后，pdNCG在所有测试的LSVM问题上均可实现超过90%的分类准确率。