[论文解读] A Fast, Principled Working Set Algorithm for Exploiting Piecewise Linear Structure in Convex Problems

Tyler B. Johnson, Carlos Guestrin|arXiv (Cornell University)|Jul 20, 2018

Machine Learning and Algorithms参考文献 62被引用 3

一句话总结

本文提出了BlitzWS，一种快速且具有理论依据的工作集算法，通过在凸优化问题中利用分段线性结构，以理论保证每轮迭代的进展，从而求解子问题。该算法在多个问题上（包括稀疏逻辑回归和线性SVM）的收敛速度优于LibLinear，同时引入了BlitzScreen——一种新颖的安全筛选测试，其对目标函数的简化效果优于以往方法。

ABSTRACT

By reducing optimization to a sequence of smaller subproblems, working set algorithms achieve fast convergence times for many machine learning problems. Despite such performance, working set implementations often resort to heuristics to determine subproblem size, makeup, and stopping criteria. We propose BlitzWS, a working set algorithm with useful theoretical guarantees. Our theory relates subproblem size and stopping criteria to the amount of progress during each iteration. This result motivates strategies for optimizing algorithmic parameters and discarding irrelevant components as BlitzWS progresses toward a solution. BlitzWS applies to many convex problems, including training L1-regularized models and support vector machines. We showcase this versatility with empirical comparisons, which demonstrate BlitzWS is indeed a fast algorithm.

研究动机与目标

• 开发一种具有每轮迭代进展理论保证的工作集算法，超越基于启发式方法的子问题选择。
• 通过将目标函数表示为分段项之和，利用凸问题中的分段线性结构（如ℓ₁-正则化模型和SVM）进行优化。
• 设计一种安全筛选测试BlitzScreen，能够识别并剔除无关分量，其适用范围更广且对目标函数的简化效果优于以往方法。
• 通过实证验证BlitzWS在多种机器学习问题中收敛速度的优越性，尤其是在稀疏逻辑回归中的表现。
• 为工作集优化中的子问题选择、参数自适应和分量剔除提供统一且有原则的框架。

提出的方法

• BlitzWS通过选择性地将目标函数中的分段项替换为线性子函数，将优化过程表述为一系列子问题，从而实现更快的最小化。
• 它利用理论框架将子问题规模和停止准则与保证的进展联系起来，实现有原则的子问题构建。
• 该算法基于进展分析动态调整参数，随着收敛过程提升效率。
• 它引入了一种类胶囊近似方法，通过几何构造近似真实活动集，以高效计算工作集。
• BlitzScreen是一种安全筛选测试，可识别在解中必然为零的分量，从而在优化前简化问题。
• 该方法适用于广泛的问题类别，包括ℓ₁-正则化回归、SVM和最小范数多面体问题，通过统一的分段问题表述实现。

实验结果

研究问题

• RQ1 能否设计一种工作集算法，使其在每轮迭代中具有理论保证的进展，而非依赖启发式方法？
• RQ2 如何系统性地优化子问题规模、分量选择和停止准则，以最大化收敛速度？
• RQ3 能否开发一种适用于更广问题类别的安全筛选测试，其对目标函数的简化效果优于现有方法？
• RQ4 尽管具有理论优势，安全筛选在实践中在多大程度上能提升整体收敛时间？
• RQ5 BlitzWS在多种凸优化问题中与LibLinear等成熟求解器相比，性能如何？

主要发现

• BlitzWS在收敛速度上显著优于LibLinear，尤其在稀疏逻辑回归中表现突出，且在多个数据集上均保持一致的改进。
• BlitzWS中的类胶囊近似方法保持了与真实工作集的高度一致性，所有测试案例中|W_cap| ≈ |W|，表明对子问题质量影响极小。
• 由于安全区域更小，BlitzScreen对目标函数的简化程度优于以往的安全筛选方法，实现了更大的问题约简。
• 尽管具有理论优势，BlitzScreen在实践中对整体收敛时间的影响可忽略不计，表明筛选的重要性低于子问题设计。
• BlitzWS在几乎所有情况下均比LibLinear收敛更快，表明有原则的子问题选择对性能提升的影响大于筛选技术。