[论文解读] Complexity analysis of Bayesian learning of high-dimensional DAG models and their equivalence classes

Quan Zhou, Hyunwoong Chang|arXiv (Cornell University)|Jan 11, 2021

Bayesian Modeling and Causal Inference参考文献 59被引用 4

一句话总结

本文建立了高维高斯DAG模型及其等价类的随机行走Metropolis-Hastings算法的快速混合性质。在稀疏性和高维性假设下，混合时间关于 $n$ 和 $p$ 多项式增长，确保了对等价类空间的有效探索，并实现了经验贝叶斯模型的强选择一致性。

ABSTRACT

Structure learning via MCMC sampling is known to be very challenging because of the enormous search space and the existence of Markov equivalent DAGs. Theoretical results on the mixing behavior are lacking. In this work, we prove the rapid mixing of a random walk Metropolis-Hastings algorithm, which reveals that the complexity of Bayesian learning of sparse equivalence classes grows only polynomially in $n$ and $p$, under some high-dimensional assumptions. A series of high-dimensional consistency results is obtained, including the strong selection consistency of an empirical Bayes model for structure learning. Our proof is based on two new results. First, we derive a general mixing time bound on finite state spaces, which can be applied to local MCMC schemes for other model selection problems. Second, we construct high-probability search paths on the space of equivalence classes with node degree constraints by proving a combinatorial property of DAG comparisons. Simulation studies on the proposed MCMC sampler are conducted to illustrate the main theoretical findings.

研究动机与目标

• 为解决高维DAG结构学习中由于搜索空间庞大和马尔可夫等价性导致的MCMC采样器混合缓慢的问题。
• 在等价类空间上建立随机行走Metropolis-Hastings算法混合行为的理论保证。
• 证明在高维稀疏性假设下，贝叶斯学习的复杂度在样本量 $n$ 和维度 $p$ 上呈多项式增长。
• 为模型选择问题中的局部MCMC方案开发一个通用的混合时间上界。
• 利用节点度数约束和DAG比较的新型组合性质，构建等价类上的高概率搜索路径。

提出的方法

• 推导适用于局部MCMC方案的通用有限状态混合时间上界，使模型选择问题中的收敛性分析成为可能。
• 利用节点度数约束在等价类空间上构造规范路径，确保高概率连通性。
• 采用在等价类上进行局部移动的随机行走Metropolis-Hastings算法，利用局部提议提高混合效率。
• 利用Poincaré不等式界定谱间隙，从而在高维稀疏性下建立快速混合。
• 应用一种改进的经验贝叶斯模型，引入阈值化系数结构，以在弱忠实性下定义一个稳定的'真实'模型。
• 通过所提出的MCMC采样器的模拟研究验证理论结果，表明收敛速度快且模型恢复准确。

实验结果

研究问题

• RQ1 在 $p \gg n$ 的高维设置下，等价类上的随机行走Metropolis-Hastings算法是否表现出快速混合？
• RQ2 在稀疏性和高维性假设下，贝叶斯结构学习的混合时间是否能在 $n$ 和 $p$ 上呈多项式增长？
• RQ3 当真实模型为稀疏时，经验贝叶斯模型在高维DAG学习中是否可实现强选择一致性？
• RQ4 能否为有限状态空间上模型选择问题中的局部MCMC方案推导出通用的混合时间上界？
• RQ5 如何利用DAG的组合性质和节点度数约束，在等价类上构建高概率搜索路径？

主要发现

• 在等价类空间上，随机行走Metropolis-Hastings算法的混合时间关于 $n$ 和 $p$ 呈多项式增长，证实了在高维稀疏性下的快速混合。
• 推导出一个通用的有限状态混合时间上界，适用于DAG学习以外的局部MCMC方案。
• 利用节点度数约束在等价类上构建了高概率规范路径，支持谱间隙分析。
• 在高维稀疏性和弱忠实性下，建立了经验贝叶斯模型的强选择一致性。
• 通过模拟验证了理论结果，显示收敛速度快且能准确恢复稀疏DAG结构。
• 即使在强beta-最小条件不成立时，该方法依然有效，如在具有小系数的非忠实情形中所展示。