[论文解读] High-dimensional consistency in score-based and hybrid structure learning

Preetam Nandy, Alain Hauser+1 more|arXiv (Cornell University)|Jul 9, 2015

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文通过引入依赖数据的搜索空间限制，建立了基于评分和混合贝叶斯网络结构学习方法（特别是贪心等价搜索 GES 及其自适应变体 ARGES）在高维情形下的的一致性。在稀疏高维设定下证明了一致性，并通过模拟表明，GES 和 ARGES 在估计质量上优于 PC 算法，同时可扩展至数千个变量。

ABSTRACT

Main approaches for learning Bayesian networks can be classified as constraint-based, score-based or hybrid methods. Although high-dimensional consistency results are available for constraint-based methods like the PC algorithm, such results have not been proved for score-based or hybrid methods, and most of the hybrid methods have not even shown to be consistent in the classical setting where the number of variables remains fixed and the sample size tends to infinity. In this paper, we show that consistency of hybrid methods based on greedy equivalence search (GES) can be achieved in the classical setting with adaptive restrictions on the search space that depend on the current state of the algorithm. Moreover, we prove consistency of GES and adaptively restricted GES (ARGES) in several sparse high-dimensional settings. ARGES scales well to sparse graphs with thousands of variables and our simulation study indicates that both GES and ARGES generally outperform the PC algorithm.

研究动机与目标

• 为解决基于评分和混合结构学习方法（如 GES 及其混合变体）在高维情形下缺乏一致性结果的问题。
• 在变量数随样本量增长的稀疏高维设定下，建立 GES 及其自适应变体 ARGES 的理论一致性。
• 通过引入自适应搜索空间限制，提升基于评分方法在高维数据中的可扩展性和估计性能。
• 通过揭示多变量高斯设定下约束方法（如 PC）与评分方法（如 GES）在概念和算法上的联系，弥合两者之间的理论差距。
• 通过稳定性选择或扩展 BIC 提供 (AR)GES 惩罚参数选择的实用指导，提升稀疏高维模型中的性能。

提出的方法

• 提出自适应受限 GES（ARGES），通过利用算法当前状态的条件独立性检验来限制搜索空间。
• 在经典设定（固定 p，n → ∞）下证明 GES 和 ARGES 的一致性，前提是 DAG 完美假设，即真实 DAG 编码了全部且仅有的条件独立关系。
• 在假设 (A5) 下建立 ARGES 的高维一致性，该假设控制了算法的 oracle 版本的增长，通过与 Chow-Liu 算法的联系推导出充分条件。
• 在多变量高斯设定下，表明 GES 与 PC 算法密切相关：GES 使用偏相关阈值来添加或删除边，类似于条件独立性检验。
• 提出一种基于等级相关系数的新评分准则，适用于非正态分布，使基于评分的学习可超越高斯假设。
• 将 ARGES 的前向阶段与选择性 GES（SGES）的后向阶段相结合，利用 SGES 在温和条件下具有多项式时间复杂度和一致性的优势。

实验结果

研究问题

• RQ1 当变量数随样本量增长时，GES 和混合方法能否实现高维一致性？
• RQ2 何种自适应搜索空间限制可实现在稀疏高维设定下的稳定结构学习？
• RQ3 在估计精度和可扩展性方面，基于评分的方法（如 GES）与基于约束的方法（如 PC）相比如何？
• RQ4 在多变量高斯设定下，GES 与基于约束的算法（如 PC）之间存在何种理论联系？
• RQ5 ARGES 的一致性能否在更弱的分布假设下扩展至学习最小独立性图？

主要发现

• 当 oracle 版本的算法满足增长条件 (A5) 时，ARGES 在稀疏高维设定下可实现高维一致性，该条件在强结构假设下可被证明成立。
• 在经典设定（固定 p，n → ∞）下，GES 在 DAG 完美假设下具有一致性，即使在除真实 DAG 编码所有条件独立性外无其他分布限制时亦成立。
• 模拟结果表明，尽管 PC 算法在可扩展性方面表现更优且在高维应用中广泛使用，但 GES 和 ARGES 在估计质量上仍优于 PC。
• ARGES 的前向阶段在大样本极限下可生成真实 CPDAG 的独立性图，当与 SGES 等一致的后向阶段结合时，可实现一致性。
• 建立 GES 与 Chow-Liu 算法之间的新联系，为 GES 在高维设定下的行为提供了理论洞见。
• 本文建议在 (AR)GES 中使用稳定性选择或扩展 BIC 准则进行惩罚参数选择，因其在稀疏高维模型中表现优于标准 BIC。