[论文解读] Large-Scale Optimization Algorithms for Sparse Conditional Gaussian Graphical Models

Calvin McCarter, Se Young Kim|arXiv (Cornell University)|Sep 15, 2015

Bayesian Modeling and Causal Inference被引用 13

一句话总结

本文提出了一种交替牛顿坐标下降算法及其块坐标扩展，用于大规模稀疏条件高斯图模型（CGGMs），显著降低了计算时间和内存使用。通过交替优化网络和输入-输出映射参数，并采用分块更新，该方法可在单台机器上处理包含数百万个变量和数百亿个参数的问题，克服了先前方法在内存和速度上的限制。

ABSTRACT

This paper addresses the problem of scalable optimization for L1-regularized conditional Gaussian graphical models. Conditional Gaussian graphical models generalize the well-known Gaussian graphical models to conditional distributions to model the output network influenced by conditioning input variables. While highly scalable optimization methods exist for sparse Gaussian graphical model estimation, state-of-the-art methods for conditional Gaussian graphical models are not efficient enough and more importantly, fail due to memory constraints for very large problems. In this paper, we propose a new optimization procedure based on a Newton method that efficiently iterates over two sub-problems, leading to drastic improvement in computation time compared to the previous methods. We then extend our method to scale to large problems under memory constraints, using block coordinate descent to limit memory usage while achieving fast convergence. Using synthetic and genomic data, we show that our methods can solve one million dimensional problems to high accuracy in a little over a day on a single machine.

研究动机与目标

• 解决大规模稀疏条件高斯图模型（CGGMs）中缺乏可扩展、内存高效优化方法的问题。
• 克服现有牛顿坐标下降方法计算成本高、内存开销大的问题，这些方法需要存储大型稠密矩阵。
• 实现在内存有限的单台机器上，对包含数百万个变量和数十亿个参数的CGGM进行高效估计。
• 提升真实应用场景（如基因组学、能源预测和金融）中的收敛速度与可扩展性。

提出的方法

• 提出一种交替牛顿坐标下降算法，交替优化输出网络精度矩阵（Θ）和输入-输出映射参数（Λ），将海森矩阵计算量减少至q×q，而非（p+q）×（p+q）。
• 仅对输出网络参数（Θ）使用二阶近似，而通过简单的坐标下降更新Λ，极大降低了每次迭代的计算成本。
• 引入分块参数更新机制，通过将参数划分为块并在每个块内重用中间计算结果，有效控制内存使用。
• 将块坐标下降方法扩展至Θ和Λ，利用块稀疏性避免按需重新计算大型矩阵。
• 在多核系统上实现并行化以加速收敛，16核环境下最高实现12倍加速。
• 在每次迭代中使用线搜索选择步长，确保目标函数充分下降。

实验结果

研究问题

• RQ1 与联合参数更新相比，对Θ和Λ进行交替优化是否能显著减少CGGM估计中的计算时间？
• RQ2 分块坐标下降是否能使CGGM学习在内存无法容纳的超大规模问题上成为可能？
• RQ3 在合成数据集和真实基因组数据集上，所提方法在计算时间和内存使用方面的可扩展性如何？
• RQ4 与现有最先进方法相比，该方法是否能更快收敛到最优稀疏结构？

主要发现

• 在包含34,249个SNP和3,268个基因表达的基因组数据集上，交替牛顿坐标下降算法将计算时间从22.0小时减少至0.51小时。
• 在更大规模的数据集（34,249个SNP和10,256个基因）上，先前的牛顿坐标下降方法因内存不足而崩溃，而所提的交替牛顿块坐标下降方法在2.3小时内成功完成。
• 在包含442,440个输入和3,268个输出的合成数据集上，该方法耗时11小时完成，而先前方法因内存限制而失败。
• 交替牛顿块坐标下降方法可扩展至一百万个输入的问题，而非分块版本在p > 100,000时即因内存不足而崩溃。
• 在28GB内存的机器上，16核环境下该方法实现了最高12倍的加速，表明并行化效率优异。
• 所有方法均收敛至全局最优解，但所提方法在恢复最优稀疏结构方面显著快于基线方法。