[论文解读] Information Theoretic Properties of Markov Random Fields, and their Algorithmic Applications

Linus Hamilton, Frederic Koehler+1 more|arXiv (Cornell University)|May 31, 2017

Algorithms and Data Compression被引用 24

一句话总结

本文提出了一种新颖的信息论框架，用于在有界度数图上学习具有高阶相互作用的马尔可夫随机场（MRFs）。通过采用零和博弈方法推广Bresler的互信息下界，作者设计了一种算法，可在 $ n^r $ 时间和 $ \log n $ 样本复杂度下学习具有 $ r $ 阶相互作用的MRFs——在非退化假设下，其复杂度在度数依赖性方面达到最优。

ABSTRACT

Markov random fields area popular model for high-dimensional probability distributions. Over the years, many mathematical, statistical and algorithmic problems on them have been studied. Until recently, the only known algorithms for provably learning them relied on exhaustive search, correlation decay or various incoherence assumptions. Bresler gave an algorithm for learning general Ising models on bounded degree graphs. His approach was based on a structural result about mutual information in Ising models. Here we take a more conceptual approach to proving lower bounds on the mutual information through setting up an appropriate zero-sum game. Our proof generalizes well beyond Ising models, to arbitrary Markov random fields with higher order interactions. As an application, we obtain algorithms for learning Markov random fields on bounded degree graphs on $n$ nodes with $r$-order interactions in $n^r$ time and $\log n$ sample complexity. The sample complexity is information theoretically optimal up to the dependence on the maximum degree. The running time is nearly optimal under standard conjectures about the hardness of learning parity with noise.

研究动机与目标

• 开发一种通用框架，用于证明马尔可夫随机场中条件互信息的下界，超越伊辛模型的范围。
• 解决在有界度数图上具有 $ r $ 阶相互作用的MRFs的结构学习问题，其中先前的方法需要强假设或具有高复杂度。
• 实现信息论上最优的样本复杂度（$ \log n $）和接近最优的运行时间（$ n^r $），用于学习此类模型。
• 将Bresler基于互信息的方法扩展至具有任意高阶团势函数的一般MRFs。
• 在部分观测（随机擦除）和有界查询访问条件下，提供鲁棒算法，同时保持最优的样本和时间复杂度。

提出的方法

• 通过构建零和博弈推导MRFs中条件互信息的下界，将Bresler的结果推广至伊辛模型之外。
• 定义 $ \alpha,\beta $-非退化性，以确保足够的统计分离性，从而使得互信息可作为学习信号使用。
• 利用Hoeffding不等式和联合界估计样本中的条件互信息，确保在高概率下以 $ \epsilon $ 容差集中。
• 设计一种贪心邻域恢复算法（MrfNbhd），查询大小最多为 $ L+r $ 的集合的条件互信息，支持有界查询或随机擦除。
• 通过对所有节点和候选邻域应用联合界，确保以高概率恢复完整的图结构。
• 通过限制为观察所有相关子集所需样本数，将算法适应于随机擦除场景。

实验结果

研究问题

• RQ1 是否可将用于伊辛模型的互信息下界技术推广至具有高阶相互作用的MRFs？
• RQ2 为确保在邻居未完全观测时条件互信息仍非可忽略，所需的最小假设（如非退化性）是什么？
• RQ3 是否可实现具有 $ \log n $ 样本复杂度和 $ n^r $ 时间复杂度的MRFs结构学习，其相互作用阶数为 $ r $？
• RQ4 在部分观测（随机擦除）下，该算法表现如何？需要多少样本复杂度以维持正确性？
• RQ5 在标准复杂性理论假设下，$ n^r $ 的运行时间是否近乎最优？

主要发现

• 本文通过零和博弈公式，建立了一般信息论下界，用于MRFs中条件互信息的估计，将Bresler的结果推广至伊辛模型之外。
• 对于具有 $ n $ 个节点和 $ K $ 状态变量的有界度数图上的 $ r $ 阶MRFs，该算法以 $ n^r $ 时间和 $ \log n $ 样本复杂度学习到正确的图结构，该复杂度在最大度数依赖性方面达到信息论最优。
• 通过每节点 $ O(mLn^r) $ 时间，该算法以高概率恢复每个节点的邻域，其中 $ m $ 为样本数，$ L $ 为查询深度。
• 在擦除概率为 $ p $ 的随机擦除下，该算法在 $ m \geq N \cdot \frac{\ell \log n + \log L + \log(2N/\omega)}{p^2} $ 样本下保持正确性，其中 $ N $ 取决于期望精度和置信度。
• 样本复杂度在对数因子和最大度数依赖性方面达到最优，运行时间在学习噪声奇偶性问题的困难性假设下近乎最优。
• 该方法对部分观测具有鲁棒性，并支持有界查询访问，使其适用于具有噪声或不完整数据的实际场景。