[论文解读] Efficient Neighborhood Selection for Gaussian Graphical Models

Yingxiang Yang, Jalal Etesami+1 more|arXiv (Cornell University)|Sep 22, 2015

Bayesian Modeling and Causal Inference参考文献 9被引用 3

一句话总结

本文提出了两种高效且结构一致的高斯图模型邻域选择算法：一种基于条件互信息的前向-后向贪心算法，以及一种针对行走可求和模型的基于阈值的算法。关键贡献在于推导出节点与其未发现邻居之间条件协方差的理论下界，从而在无需调参的情况下实现可证明一致且高效的邻域恢复，尤其在基于阈值的算法中。

ABSTRACT

This paper addresses the problem of neighborhood selection for Gaussian graphical models. We present two heuristic algorithms: a forward-backward greedy algorithm for general Gaussian graphical models based on mutual information test, and a threshold-based algorithm for walk summable Gaussian graphical models. Both algorithms are shown to be structurally consistent, and efficient. Numerical results show that both algorithms work very well.

研究动机与目标

• 开发高效且结构一致的高斯图模型邻域选择算法。
• 为行走可求和模型中节点与其未发现邻居之间的条件协方差建立理论下界。
• 通过利用条件协方差下界，消除邻域选择对调参的依赖。
• 相比现有贪心方法（如前向-后向选择），提升计算效率与收敛速度。
• 通过在合成图上的数值实验，展示结构一致性和样本效率。

提出的方法

• 提出一种前向-后向贪心算法，基于条件互信息迭代选择邻居，并利用阈值剔除低似然度邻居。
• 为行走可求和高斯图模型引入一种基于阈值的算法，利用节点与其未发现邻居之间条件协方差绝对值的下界。
• 在算法3中使用 $10^{-3}$ 的剪枝阈值以控制伪邻域大小，尤其在样本量较小时更为有效。
• 基于阈值 $\epsilon_s = 8c\rho\eta d\log(m)/(kC_{\text{min}})$ 设定前向选择的停止准则，其中 $c$ 为调参参数。
• 在前向阶段应用基于对称性的剪枝策略，以降低计算开销。
• 推导出所选伪邻域大小与真实度数之比的上界，并对算法迭代次数进行上界估计。

实验结果

研究问题

• RQ1 能否利用信息论准则（如条件互信息）实现高斯图模型中邻域选择的高效求解？
• RQ2 是否存在一种自然的影响度量（如条件协方差），可对未发现邻居的影响建立下界？
• RQ3 在行走可求和模型中，节点与其未发现邻居之间的最大条件协方差是否可远离零？
• RQ4 是否存在一种基于阈值的算法，可在无需调参的情况下保证结构一致性？
• RQ5 所提出的基于阈值的算法在收敛性与伪邻域大小方面，与调优后的贪心方法相比表现如何？

主要发现

• 基于阈值的算法在所有测试的调参 $c$ 值下，性能均与最佳调优的前向-后向贪心算法相当。
• 前向-后向贪心算法的性能对调参 $c$ 的选择极为敏感，而所提出的基于阈值的算法则完全无需调参。
• 当样本量较大时，两种算法均能高效选择伪邻域，且基于阈值的方法达到与最优调优贪心算法相当的最佳性能。
• 当样本量较小时，由于固定剪枝阈值为 $10^{-3}$，基于阈值的算法会选择更大的伪邻域。
• 条件协方差的理论下界确保算法能可靠地区分真实邻居与非邻居，从而实现结构一致性。
• 迭代次数与伪邻域大小与真实度数之比均存在上界，证实了算法的计算效率。