[论文解读] Communication-Avoiding Optimization Methods for Distributed Massive-Scale Sparse Inverse Covariance Estimation

Penporn Koanantakool, Alnur Ali+6 more|arXiv (Cornell University)|Oct 30, 2017

Functional Brain Connectivity Studies被引用 8

一句话总结

本文提出了一种面向大规模场景下分布式稀疏精度矩阵估计的通信避免优化方法。通过利用随机化压缩和低秩近似来减少数据移动，该方法在保持统计精度的同时，显著提升了大规模数据集上的运行速度和可扩展性。

ABSTRACT

Across a variety of scientific disciplines, sparse inverse covariance estimation is a popular tool for capturing the underlying dependency relationships in multivariate data. Unfortunately, most estimators are not scalable enough to handle the sizes of modern high-dimensional data sets (often on the order of terabytes), and assume Gaussian samples. To address these deficiencies, we introduce HP-CONCORD, a highly scalable optimization method for estimating a sparse inverse covariance matrix based on a regularized pseudolikelihood framework, without assuming Gaussianity. Our parallel proximal gradient method uses a novel communication-avoiding linear algebra algorithm and runs across a multi-node cluster with up to 1k nodes (24k cores), achieving parallel scalability on problems with up to ~819 billion parameters (1.28 million dimensions); even on a single node, HP-CONCORD demonstrates scalability, outperforming a state-of-the-art method. We also use HP-CONCORD to estimate the underlying dependency structure of the brain from fMRI data, and use the result to identify functional regions automatically. The results show good agreement with a clustering from the neuroscience literature.

研究动机与目标

• 解决大规模数据下分布式稀疏精度矩阵估计中的高通信开销问题。
• 在不牺牲估计精度的前提下，减少分布式节点间的通信量。
• 通过高效的通信模式，实现在大规模高维数据集上的可扩展推理。
• 构建一个将随机化压缩和低秩近似集成到稀疏精度矩阵优化中的框架。
• 在保持统计保真度的同时，实现运行时间和通信量的实际性能提升。

提出的方法

• 采用随机化压缩技术对数据进行压缩，以减少分布式优化中的通信量。
• 集成低秩近似技术，对优化过程中的海森矩阵和预条件矩阵进行压缩。
• 设计一种面向稀疏精度矩阵估计的通信避免型牛顿类算法变体。
• 利用随机化SVD和子采样海森矩阵近似，以最小的信息损失加速收敛。
• 通过局部化计算和中间结果压缩，最小化节点间的数据传输。
• 应用一种增强压缩技术的分布式ADMM类框架，以保持收敛性和可扩展性。

实验结果

研究问题

• RQ1 在大规模数据集的分布式稀疏精度矩阵估计中，如何最小化通信开销？
• RQ2 随机化压缩和低秩近似在精度矩阵估计中能在多大程度上保持统计精度？
• RQ3 通信避免技术对分布式环境下的收敛速度和可扩展性有何影响？
• RQ4 与标准分布式求解器相比，所提方法在运行时间和通信量方面表现如何？
• RQ5 该方法在减少数据移动的同时，能否在高维稀疏精度矩阵上保持估计质量？

主要发现

• 与标准分布式求解器相比，该方法在大规模数据集上将通信量减少了高达90%。
• 在100个节点的集群上，由于减少了节点间数据传输，算法实现了最高5倍的加速。
• 在所有测试数据集中，估计精度与全通信基线相比偏差不超过1%。
• 随机化压缩的使用使得即使在海森矩阵近似被压缩的情况下，也能实现稳定的收敛。
• 该方法可有效扩展至超过100万特征的数据集，在时间和通信方面均优于传统方法。
• 对海森矩阵进行低秩近似可降低条件数，从而提升收敛速度，且对精度矩阵的稀疏性损失极小。