[论文解读] Generalized Stability Approach for Regularized Graphical Models

Christian L. Müller, Richard Bonneau+1 more|arXiv (Cornell University)|May 23, 2016

Advanced Mathematical Modeling in Engineering参考文献 21被引用 23

一句话总结

本文提出了广义稳定性方法用于正则化图模型（G-StARS），通过利用泊松-二项分布的性质推导正则化路径的概率边界，并引入图形单元级稳定性，从而加速并推广了StARS方法。该方法在标准硬件上实现了高效、高性能的高斯图模型选择，在多种图拓扑结构下均表现出更优的恢复精度，通过结合边稳定性和子图稳定性实现。

ABSTRACT

Selecting regularization parameters in penalized high-dimensional graphical models in a principled, data-driven, and computationally efficient manner continues to be one of the key challenges in high-dimensional statistics. We present substantial computational gains and conceptual generalizations of the Stability Approach to Regularization Selection (StARS), a state-of-the-art graphical model selection scheme. Using properties of the Poisson-Binomial distribution and convex non-asymptotic distributional modeling we propose lower and upper bounds on the StARS graph regularization path which results in greatly reduced computational cost without compromising regularization selection. We also generalize the StARS criterion from single edge to induced subgraph (graphlet) stability. We show that simultaneously requiring edge and graphlet stability leads to superior graph recovery performance independent of graph topology. These novel insights render Gaussian graphical model selection a routine task on standard multi-core computers.

研究动机与目标

• 解决基于StARS的高维图模型正则化选择中计算成本高且对参数选择敏感的问题。
• 开发一种数据驱动、计算高效的最优正则化参数选择方法，用于稀疏高斯图模型。
• 将StARS中的边级稳定性推广至诱导子图（图形单元）级稳定性，以提升图恢复性能。
• 实现在标准多核系统上大规模图模型推理，且不损失准确性。
• 为实际应用（如微生物组网络推断）提供实用、开源的实现。

提出的方法

• 通过最少N=2个子样本的泊松-二项分布的凸非渐近建模，推导正则化路径的下界和上界（λ_lb, λ_ub）。
• 利用这些边界排除对正则化路径密集、计算昂贵的下部区域的探索，同时保持选择质量。
• 提出一种基于图形单元相关距离（GCD）的新图形单元稳定性度量，用于量化子采样图中小型诱导子图的变异性。
• 同时强制执行边稳定性（来自StARS）和图形单元稳定性，以识别生成拓扑一致、鲁棒图的正则化参数。
• 利用R和MATLAB中的并行计算将方法扩展至大规模数据集，如肠道微生物组网络。
• 应用广义稳定性准则（G-StARS）选择最小化图形单元变异性（即稳定拓扑结构）的正则化参数。

实验结果

研究问题

• RQ1 我们能否在不损害参数选择精度的前提下，降低基于StARS的正则化选择的计算成本？
• RQ2 与仅使用边级稳定性相比，引入图形单元级稳定性如何改善对复杂图拓扑结构的恢复？
• RQ3 能否从最少的子采样中推导出正则化路径的概率边界，以加速收敛？
• RQ4 边稳定性和图形单元稳定性相结合是否能在多种网络结构上实现更鲁棒、更准确的图模型选择？
• RQ5 G-StARS能否实现在标准多核硬件上对大规模真实世界生物数据进行图模型推理？

主要发现

• 所提出的正则化路径下界和上界通过排除对密集图区域的无谓探索，显著降低了计算成本，且未损失选择质量。
• 基于轨道的图形单元相关性测量的图形单元稳定性揭示了变异性曲线中的多个局部最优解，从而可识别出拓扑稳定的图结构。
• G-StARS中同时采用边稳定性和图形单元稳定性，在所有测试的图拓扑结构中均实现了更优的图恢复性能，包括具有挑战性的中心节点型和无标度网络。
• 在4000个节点的Erdős–Rényi图上，该方法结合QUIC算法实现了显著加速，将求解时间从数小时缩短至数分钟，同时保持了高真正例率和低假正例率。
• 在American Gut数据集中，G-StARS选择的网络中，具有生物学合理性的Clostridiales–Bacteroidales关联比例更高，与近期实验发现一致。
• 该方法实现了迄今为止最大的肠道微生物生态关联网络推断，展示了其在真实世界数据上的可扩展性和实际应用价值。