[论文解读] A Fast and Scalable Joint Estimator for Learning Multiple Related Sparse Gaussian Graphical Models

Beilun Wang, Ji Gao+1 more|arXiv (Cornell University)|Feb 9, 2017

Gaussian Processes and Bayesian Inference参考文献 12被引用 6

一句话总结

本文提出FASJEM，一种基于基础估计器（EE）框架的快速且可扩展的联合估计器，用于学习多个相关的稀疏高斯图形模型（sGGMs）。通过逐元素和分组元素的优化方法结合邻近算法，该方法实现了O(Kp²)的时间复杂度和O(K)的内存使用，显著提升了计算效率和可扩展性，同时保持了O(log(Kp)/ntot)的理论收敛速率。

ABSTRACT

Estimating multiple sparse Gaussian Graphical Models (sGGMs) jointly for many related tasks (large $K$) under a high-dimensional (large $p$) situation is an important task. Most previous studies for the joint estimation of multiple sGGMs rely on penalized log-likelihood estimators that involve expensive and difficult non-smooth optimizations. We propose a novel approach, FASJEM for \underline{fa}st and \underline{s}calable \underline{j}oint structure-\underline{e}stimation of \underline{m}ultiple sGGMs at a large scale. As the first study of joint sGGM using the Elementary Estimator framework, our work has three major contributions: (1) We solve FASJEM through an entry-wise manner which is parallelizable. (2) We choose a proximal algorithm to optimize FASJEM. This improves the computational efficiency from $O(Kp^3)$ to $O(Kp^2)$ and reduces the memory requirement from $O(Kp^2)$ to $O(K)$. (3) We theoretically prove that FASJEM achieves a consistent estimation with a convergence rate of $O(\log(Kp)/n_{tot})$. On several synthetic and four real-world datasets, FASJEM shows significant improvements over baselines on accuracy, computational complexity, and memory costs.

研究动机与目标

• 解决在多个相关任务中联合估计多个高维sGGMs时存在的计算和内存瓶颈问题。
• 当任务数K和维度p均较大时，开发一种可扩展且高效的多相关sGGM学习方法。
• 与现有惩罚似然方法相比，将时间复杂度从O(Kp³)降低至O(Kp²)，内存使用从O(Kp²)降低至O(K)。
• 建立理论一致性，收敛速率为O(log(Kp)/ntot)，证明联合估计相比单任务学习具有优势。
• 在合成数据和真实世界生物医学数据集上评估该方法，结果表明其在准确性、速度和内存效率方面表现更优。

提出的方法

• 提出FASJEM，一种基于基础估计器（EE）框架的新型联合估计器，用于多个sGGMs。
• 通过逐元素和分组元素的邻近算法优化FASJEM，实现并行化处理，将时间复杂度降低至O(Kp²)。
• 提出两种变体：FASJEM-G采用组-2范数，FASJEM-I采用组-无穷范数，以在不同任务间强制网络相似性。
• 采用一种避免昂贵SVD和矩阵乘法操作的邻近算法，将内存使用降低至O(K)。
• 理论分析证明，FASJEM可实现O(log(Kp)/ntot)的收敛速率，快于单任务sGGM的收敛速率O(log p / n)。
• 采用基于软阈值的估计器与相容性常数框架，以界定估计误差并确保一致性。

实验结果

研究问题

• RQ1 能否设计一种联合sGGM估计器，使其在K（任务数）和p（维度）均较大时仍能高效扩展？
• RQ2 能否在不损失准确性的前提下，将联合sGGM估计的计算复杂度从O(Kp³)降低至O(Kp²)？
• RQ3 能否通过避免在主内存中完整存储协方差矩阵，将内存使用从O(Kp²)降低至O(K)？
• RQ4 所提出的FASJEM方法是否比现有联合估计器具有更快的收敛速度和更好的估计一致性？
• RQ5 FASJEM能否在真实世界高维生物医学数据集上同时优于基线方法在准确性和计算效率方面？

主要发现

• FASJEM将时间复杂度从O(Kp³)降低至O(Kp²)，内存使用从O(Kp²)降低至O(K)，实现了大规模联合估计。
• 该方法实现了理论收敛速率O(log(Kp)/ntot)，快于单任务sGGM的收敛速率O(log p / n)，证明了联合学习的优势。
• 在四个真实世界生物医学数据集上，包括包含K=147种细胞类型的ENCODE数据集，FASJEM在估计准确性方面优于基线方法。
• FASJEM-G和FASJEM-I在性能上均优于其对应的JGL基线，其中FASJEM-I实现了最佳整体准确性。
• 该方法在高维设置（p > 1000）和大K（最高达147）下表现出良好的可扩展性，已在合成和真实数据集上得到验证。
• 实证结果证实，与现有惩罚似然方法相比，FASJEM在显著降低运行时间和内存占用的同时，仍能保持高准确性。