[论文解读] A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions

Quoc Tran Dinh, Anastasios Kyrillidis+1 more|arXiv (Cornell University)|Jan 8, 2013

Sparse and Compressive Sensing Techniques参考文献 18被引用 13

一句话总结

该论文提出了一种用于复合最小化的新颖近端牛顿框架，通过利用解析步长选择和对偶公式，避免了图学习中的Cholesky分解和矩阵求逆。该方法实现了局部二次收敛，并在无需昂贵矩阵分解或迭代线搜索的情况下，实现了高效、可扩展的稀疏精度矩阵估计优化。

ABSTRACT

We propose an algorithmic framework for convex minimization problems of a composite function with two terms: a self-concordant function and a possibly nonsmooth regularization term. Our method is a new proximal Newton algorithm that features a local quadratic convergence rate. As a specific instance of our framework, we consider the sparse inverse covariance matrix estimation in graph learning problems. Via a careful dual formulation and a novel analytic step-size selection procedure, our approach for graph learning avoids Cholesky decompositions and matrix inversions in its iteration making it attractive for parallel and distributed implementations.

研究动机与目标

• 为解决现有二阶方法中Cholesky分解和矩阵求逆导致的稀疏精度矩阵估计可扩展性瓶颈。
• 为包含自共形项和非光滑正则化项的复合最小化问题，开发一种具有局部二次收敛性的近端牛顿算法。
• 通过一种解析的最优步长选择过程，消除对回溯线搜索或信赖域全局化策略的需求。
• 通过在每次迭代中避免昂贵的矩阵运算，实现高效、分布式和并行化实现。
• 通过避免显式矩阵求逆的对偶公式，在图学习中证明该框架的有效性。

提出的方法

• 该方法采用阻尼近端牛顿方案，结合解析步长选择，保证目标函数充分下降，无需线搜索。
• 利用对数似然中对数行列式项的自共形性，推导出闭式步长，确保迭代点保持在正定锥内。
• 采用牛顿子问题的对偶公式，通过Hessian-向量乘积计算梯度，无需显式矩阵求逆。
• Hessian-向量乘积仅通过矩阵乘法高效计算，避免显式求逆或Cholesky分解。
• 一旦进入二次收敛区域，算法即切换为完整的近端牛顿步长，该区域可显式计算。
• 该框架在图学习中具体实现为DPNGS（阻尼近端牛顿图选择），完全避免了Cholesky分解和矩阵求逆操作。

实验结果

研究问题

• RQ1 能否设计一种不依赖回溯线搜索或信赖域策略的复合最小化近端牛顿方法？
• RQ2 在保持快速收敛的前提下，能否在稀疏精度矩阵估计中避免Cholesky分解和矩阵求逆？
• RQ3 能否推导出一种解析步长选择过程，保证全局收敛和最优进展，且无需额外假设？
• RQ4 牛顿子问题的对偶公式如何在图学习中实现无矩阵求逆的优化？
• RQ5 所提出的框架能否在减少计算成本的同时，实现与当前最先进求解器QUIC相当的性能？

主要发现

• DPNGS(10) 在远短于QUIC的时间内达到近似最优解，尤其在正则化参数ρ较小时表现尤为出色。
• 该算法完全避免了Cholesky分解和矩阵求逆，将每次迭代的复杂度降低至仅矩阵乘法的水平。
• 对于Leukemia数据集（p=1255），DPNGS(10) 仅需65次迭代和82.5秒，而QUIC需18次迭代和69.8秒，但DPNGS(10)的每次迭代计算成本显著更低。
• DPNGS(5) 和 DPNGS(10) 为QUIC提供了高质量的初始化，显著减少了QUIC在早期迭代中所需的Cholesky分解次数。
• 解析步长选择确保了全局收敛，并保证目标函数值下降，从而无需线搜索或信赖域方法。
• 在所有测试数据集（Arabidopsis、Leukemia、Hereditary）中，DPNGS(10) 均一致优于DPNGS(5)，且在解质量上与或超过QUIC，同时显著降低了计算开销。