[论文解读] Reconstruction of Markov Random Fields from Samples: Some Easy Observations and Algorithms

Guy Bresler, Elchanan Mossel+1 more|arXiv (Cornell University)|Dec 10, 2007

Bayesian Modeling and Causal Inference参考文献 9被引用 12

一句话总结

本文提出了一种新颖的算法，用于从独立同分布样本中重建稀疏马尔可夫随机场（MRF）的图结构，该算法利用局部条件独立性和边缘概率界。研究证明，$ O(d\epsilon^{-2}\delta^{-4}\log n) $ 个样本足以以高概率重建底层图，其中 $ \epsilon $ 和 $ \delta $ 衡量局部相互作用强度，并给出了 $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ 的运行时间上界，在相关性衰减条件下可优化至 $ O(n^2\log n) $。

ABSTRACT

Markov random fields are used to model high dimensional distributions in a number of applied areas. Much recent interest has been devoted to the reconstruction of the dependency structure from independent samples from the Markov random fields. We analyze a simple algorithm for reconstructing the underlying graph defining a Markov random field on $n$ nodes and maximum degree $d$ given observations. We show that under mild non-degeneracy conditions it reconstructs the generating graph with high probability using $Θ(d ε^{-2}δ^{-4} \log n)$ samples where $ε,δ$ depend on the local interactions. For most local interaction $\eps,δ$ are of order $\exp(-O(d))$. Our results are optimal as a function of $n$ up to a multiplicative constant depending on $d$ and the strength of the local interactions. Our results seem to be the first results for general models that guarantee that {\em the} generating model is reconstructed. Furthermore, we provide explicit $O(n^{d+2} ε^{-2}δ^{-4} \log n)$ running time bound. In cases where the measure on the graph has correlation decay, the running time is $O(n^2 \log n)$ for all fixed $d$. We also discuss the effect of observing noisy samples and show that as long as the noise level is low, our algorithm is effective. On the other hand, we construct an example where large noise implies non-identifiability even for generic noise and interactions. Finally, we briefly show that in some simple cases, models with hidden nodes can also be recovered.

研究动机与目标

• 解决在真实图未知的情况下，从独立样本中重建马尔可夫随机场依赖图的挑战。
• 为具有有界度数的稀疏 MRF 提供样本复杂度和计算效率的理论保证。
• 将重建方法扩展至存在噪声或部分观测数据的场景，确保在温和非退化条件下可识别性。
• 证明在特定相互作用强度约束下，三角形自由图中的隐藏节点可被恢复。

提出的方法

• 提出一种基于通过经验互信息估计条件独立性的简单算法，利用局部邻域统计信息推断边的存在。
• 采用信息论界推导出重建所需的样本下界为 $ \Omega(d\log n) $，从而在常数因子范围内实现最优性。
• 引入非退化条件，涉及对条件概率和边缘分布的下界 $ \epsilon $ 和 $ \delta $，以确保图的唯一识别。
• 通过证明弱噪声可保持可重建性，而强噪声可能导致不可识别性，将算法适应于噪声观测。
• 利用相关性衰减将运行时间从 $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ 降低至 $ O(n^2\log n) $，适用于固定 $ d $ 的情况。
• 应用团重构技术，通过在观测子图中识别最大团并将它们替换为潜在节点，实现隐藏节点的恢复。

实验结果

研究问题

• RQ1 重建具有有界度数的 MRF 图，需要的独立同分布样本的最小数量是多少？
• RQ2 能否使重建算法在运行时间上高效，特别是在相关性衰减条件下？
• RQ3 噪声或部分观测变量的存在如何影响底层 MRF 图的可识别性？
• RQ4 在何种条件下，可以从观测样本中恢复潜在 MRF 结构中的隐藏节点？
• RQ5 是否可能在度数和相互作用强度的常数因子范围内实现最优样本复杂度？

主要发现

• 本文证明，$ O(d\epsilon^{-2}\delta^{-4}\log n) $ 个样本足以以高概率重建最大度数为 $ d $ 的 MRF 的底层图，其结果在常数因子范围内与信息论下界一致。
• 对于具有相关性衰减的模型，运行时间被降低至 $ O(n^2\log n) $，该结果为多项式时间且对固定 $ d $ 高效，显著优于一般情况下的 $ O(n^{d+2}\epsilon^{-2}\delta^{-4}\log n) $ 上界。
• 只要噪声水平相对于相互作用强度较小，算法在弱噪声下依然有效，可确保高概率重建。
• 对于具有有界耦合的三角形自由图上的铁磁伊辛模型，推导出显式下界：$ \epsilon \geq \frac{\tanh(2c)}{32e^{2(d+1)C}(C^2 + C^{-2})} $ 和 $ \delta \geq \frac{e^{-4dC}}{2^{2d}} $，满足非退化条件。
• 该方法通过在观测子图中识别最大团并将它们替换为潜在节点，成功实现了对含隐藏节点图的重建，前提是缺失节点之间足够分离。
• 本文构造了一个例子，表明即使在一般相互作用下，大噪声也会导致不可识别性，揭示了鲁棒性的根本限制。