[论文解读] A Second-Order Method for Convex $\ell_1$-Regularized Optimization with Active Set Prediction

Nitish Shirish Keskar, Jorge Nocedal+2 more|arXiv (Cornell University)|May 16, 2015

Sparse and Compressive Sensing Techniques参考文献 24被引用 4

一句话总结

本文提出了一种用于凸 $φ(x) = f(x) + \mu\|x\|_1$ 优化的二阶主动集方法，通过将主动集预测与不精确子空间最小化相结合，提升了收敛速度与鲁棒性。该方法在机器学习数据集上的性能与 LIBLINEAR 相当，展现出线性收敛性，并通过正交面预测与校正循环有效促进稀疏性。

ABSTRACT

We describe an active-set method for the minimization of an objective function $ϕ$ that is the sum of a smooth convex function and an $\ell_1$-regularization term. A distinctive feature of the method is the way in which active-set identification and {second-order} subspace minimization steps are integrated to combine the predictive power of the two approaches. At every iteration, the algorithm selects a candidate set of free and fixed variables, performs an (inexact) subspace phase, and then assesses the quality of the new active set. If it is not judged to be acceptable, then the set of free variables is restricted and a new active-set prediction is made. We establish global convergence for our approach, and compare the new method against the state-of-the-art code LIBLINEAR.

研究动机与目标

• 开发一种针对大规模 $φ(x) = f(x) + \mu\|x\|_1$ 问题的全局收敛二阶方法，通过改进主动集预测提升性能。
• 通过引入校正循环与自适应滤波，克服现有方法的局限性——特别是精确子问题求解的高成本与主动集选择不佳的问题。
• 在保持理论收敛保证的同时，实现与 LIBLINEAR 等先进代码相当的性能。
• 研究对角优势对算法性能的影响，尤其与前向牛顿法进行对比。

提出的方法

• 该算法采用递归的主动集选择机制，结合一阶与二阶信息，以在每次迭代中预测包含解的正交面。
• 在每次迭代中，形成候选主动集，并在预测的正交面上通过光滑二次模型 $\bar{q}^k(x) = f(x^k) + (x-x^k)^T\nabla f(x^k) + \frac{1}{2}(x-x^k)^T\nabla^2f(x^k)(x-x^k) + \mu\zeta^T x$ 执行不精确子空间最小化。
• 采用校正循环：若预测的主动集被认为不可靠，则限制自由变量集合，并重新进行预测，从而确保鲁棒性。
• 通过类似 ISTA 的回退步骤实现全局化，确保充分下降，并在强凸条件下实现全局收敛性的证明。
• 自适应滤波机制在无需精确求解子问题的情况下，提升了零变量预测的准确性。
• 该方法通过在正交面上求解光滑子问题避免了非光滑子问题的处理，与通过坐标下降求解非光滑子问题的前向牛顿方法形成对比。

实验结果

研究问题

• RQ1 对于 $φ(x) = f(x) + \mu\|x\|_1$ 问题，是否能够设计出一种结合不精确子空间求解与校正循环的二阶主动集方法，在 CPU 时间上优于 LIBLINEAR 等先进的一阶求解器？
• RQ2 对角优势（以 $\mathcal{D}(A) = \max_i \|A_i\|_2 / \max_i |A_{ii}|$ 衡量）如何影响该方法与前向牛顿方法的性能表现？
• RQ3 所提出的正交面预测机制相较于更简单的主动集选择策略，在提升收敛性与稀疏性生成方面有多大的改进作用？
• RQ4 是否能够设计一种全局收敛的二阶方法，其在大多数情况下极少触发一阶保护机制，同时保持快速的局部收敛速度？

主要发现

• 所提出的算法在强凸问题上实现了线性收敛，且通过类似 ISTA 的保护步骤保证了全局收敛性，该步骤在实际中极少被触发。
• 在一系列机器学习数据集（包括 Gisette、RCV1 和 Alpha）上，尽管算法基于 MATLAB 实现，其性能仍与 C 语言实现的 LIBLINEAR 代码相当。
• 该方法能快速而有效地生成稀疏解，在高对角优势问题（如 Synthetic、Gisette）上表现优异，而此时 LIBLINEAR 表现较差。
• 数值结果表明，对角优势对性能的影响具有复杂且非单调的特性：低 $\mathcal{D}$ 值（如 KDDB、RCV1）有利于 LIBLINEAR，而高 $\mathcal{D}$ 值（如 Synthetic）则有利于所提方法，表明存在敏感性权衡。
• 采用不精确子空间求解与自适应滤波可在保持预测精度的同时降低计算成本，从而实现高效校正循环而不损害收敛性。
• 结果表明，结合鲁棒主动集预测与二阶子问题求解的正交方法，是 $φ(x) = f(x) + \mu\|x\|_1$ 问题中前向牛顿方法的可行替代方案。