[论文解读] Action constrained quasi-Newton methods

Robert M. Gower, Jacek Gondzio|arXiv (Cornell University)|Dec 27, 2014

Matrix Theory and Algorithms参考文献 37被引用 12

一句话总结

本文提出动作约束拟牛顿法（quNac），一种新颖的框架，通过在低维子空间上采样海森矩阵的作用来构建逆海森矩阵近似，从而在不精确牛顿-CG求解器中实现高效、并行且鲁棒的预条件化。该方法实现了二次收敛，并在逻辑斯蒂SVM和经典测试问题上相比非预条件化牛顿-CG展现出更优的运行时间性能。

ABSTRACT

At the heart of Newton based optimization methods is a sequence of symmetric linear systems. Each consecutive system in this sequence is similar to the next, so solving them separately is a waste of computational effort. Here we describe automatic preconditioning techniques for iterative methods for solving such sequences of systems by maintaining an estimate of the inverse system matrix. We update the estimate of the inverse system matrix with quasi-Newton type formulas based on what we call an action constraint instead of the secant equation. We implement the estimated inverses as preconditioners in a Newton-CG method and prove quadratic termination. Our implementation is the first parallel quasi-Newton preconditioners, in full and limited memory variants. Tests on logistic Support Vector Machine problems reveal that our method is very efficient, converging in wall clock time before a Newton-CG method without preconditioning. Further tests on a set of classic test problems reveal that the method is robust. The action constraint makes these updates flexible enough to mesh with trust-region and active set methods, a flexibility that is not present in classic quasi-Newton methods.

研究动机与目标

• 开发一种灵活且可并行化的拟牛顿框架，利用海森矩阵在子空间上的作用而非单一方向。
• 仅通过矩阵-向量乘积实现对逆海森矩阵近似的低秩更新，避免显式计算海森矩阵。
• 将该方法集成到牛顿-CG框架中，支持完整记忆和有限记忆两种变体，以实现可扩展优化。
• 通过在正曲率子空间上施加动作约束，确保正定性与二次收敛。
• 在大规模逻辑斯蒂SVM问题和经典测试问题上展示其鲁棒性与高效性。

提出的方法

• 采用动作约束替代经典的对 secant 方程，强制更新后的逆海森矩阵近似在给定方向子空间上表现得如同真实逆海森矩阵。
• 通过在正曲率方向的Krylov基上进行海森矩阵作用，推导出低秩更新，确保近似矩阵的正定性。
• 将逆海森矩阵近似作为牛顿-CG方法中的预条件子，利用块矩阵运算实现并行更新。
• 实现了完整记忆和有限记忆两种变体，其中有限记忆版本采用过去更新的滚动历史记录。
• 证明该方法具有二次继承性，确保在应用于牛顿系统时实现二次收敛。
• 该框架足够灵活，可通过自适应子空间采样与信赖域法和活动集法集成。

实验结果

研究问题

• RQ1 能否将拟牛顿更新推广至使用子空间上的作用而非单个向量，以提升信息流入并实现并行化？
• RQ2 此类推广能否在牛顿-CG框架中保持正定性与二次收敛？
• RQ3 在大规模问题上，动作约束拟牛顿预条件子能否在运行时间上超越标准非预条件化牛顿-CG？
• RQ4 该方法在经典测试问题和具有非平凡条件数的实际逻辑斯蒂SVM问题上的表现如何？
• RQ5 能否通过自适应子空间采样，灵活地将该方法集成到信赖域或活动集优化框架中？

主要发现

• 动作约束拟牛顿法在牛顿-CG框架中实现了二次收敛，完整记忆变体证明了其具有二次继承性。
• 在具有逻辑斯蒂损失和正则化的逻辑斯蒂SVM问题上，该方法比非预条件化牛顿-CG运行更快。
• 该方法的有限记忆变体是首个实现L-BFGS类型更新的并行版本，支持可扩展的块并行低秩更新。
• 在经典测试问题上，该方法在一系列病态系统中表现出稳健性能，包括Hilbert函数和Watson函数。
• 对于n=1000的Hilbert矩阵函数，该方法耗时21.76秒完成，而非预条件化CG则超时，显示出显著的效率提升。
• 该方法的灵活性使其可通过在负曲率方向上采样，适配到信赖域模型中，从而扩展了其适用范围。