[论文解读] Information-theoretic limits of selecting binary graphical models in high dimensions

Narayana Santhanam, Martin J. Wainwright|ArXiv.org|May 16, 2009

Bayesian Modeling and Causal Inference参考文献 22被引用 14

一句话总结

本文在高维设置下建立了选择二值图形模型（伊辛模型）的信息论极限，推导出正确恢复图结构的精确阈值。对于边数最多为 $k$ 的图，$n \gtrsim k\log p$ 样本是必要条件，$n \gtrsim k^2\log p$ 样本则足以实现高概率恢复；对于最大度数为 $d$ 的有界度数图，相应阈值分别为 $n \gtrsim d^2\log p$ 和 $n \gtrsim d^3\log p$。

ABSTRACT

The problem of graphical model selection is to correctly estimate the graph structure of a Markov random field given samples from the underlying distribution. We analyze the information-theoretic limitations of the problem of graph selection for binary Markov random fields under high-dimensional scaling, in which the graph size $p$ and the number of edges $k$, and/or the maximal node degree $d$ are allowed to increase to infinity as a function of the sample size $n$. For pairwise binary Markov random fields, we derive both necessary and sufficient conditions for correct graph selection over the class $\mathcal{G}_{p,k}$ of graphs on $p$ vertices with at most $k$ edges, and over the class $\mathcal{G}_{p,d}$ of graphs on $p$ vertices with maximum degree at most $d$. For the class $\mathcal{G}_{p, k}$, we establish the existence of constants $c$ and $c'$ such that if $ umobs < c k \log p$, any method has error probability at least 1/2 uniformly over the family, and we demonstrate a graph decoder that succeeds with high probability uniformly over the family for sample sizes $ umobs > c' k^2 \log p$. Similarly, for the class $\mathcal{G}_{p,d}$, we exhibit constants $c$ and $c'$ such that for $n < c d^2 \log p$, any method fails with probability at least 1/2, and we demonstrate a graph decoder that succeeds with high probability for $n > c' d^3 \log p$.

研究动机与目标

• 确定在高维设置下，对成对二值马尔可夫随机场（伊辛模型）的图结构进行精确恢复所需的最低样本量。
• 为具有有界边数（$\mathcal{G}_{p,k}$）和有界最大度数（$\mathcal{G}_{p,d}$）的图类建立图选择的必要与充分条件。
• 推导出能将恢复不可能的情形与高概率下可能的情形明确分隔的精确信息论阈值。
• 分析高维图模型选择中统计推断的根本极限，且不依赖于特定算法或计算约束。

提出的方法

• 利用法诺不等式推导必要条件，证明当 $n < c k \log p$ 时，任何方法在 $\mathcal{G}_{p,k}$ 类中失败概率至少为 $1/2$；当 $n < c d^2 \log p$ 时，任何方法在 $\mathcal{G}_{p,d}$ 类中失败概率至少为 $1/2$。
• 基于经验对数似然比和最大后验估计构造图解码器，以证明高概率恢复的充分条件。
• 提出一种新颖的翻转引理，用于界定当自旋配置被翻转时充分统计量 $\Delta(x)$ 的变化，证明边特定参数 $\theta_{st}$ 至少对 $\Delta(x)$ 的变化贡献 $|\theta_{st}|$。
• 依赖 Kullback-Leibler 散度和图距离度量，将统计检验误差与结构恢复误差联系起来。
• 在翻转引理的证明中采用反证法，表明若 $\Delta(x)$ 在自旋翻转下保持不变，则 $\theta_{st} = 0$，与不同模型的假设矛盾。
• 分析所有配置 $x \in \{-1,+1\}^p$ 上充分统计量 $\Delta(x)$ 的行为，以界定不同图对应分布之间的总变差距离。

实验结果

研究问题

• RQ1 当 $p$、$k$ 和 $d$ 增长时，为以高概率恢复成对二值马尔可夫随机场的正确图结构，所需的最小样本量 $n$ 是多少？
• RQ2 结构参数 $k$（边数）和 $d$（最大度数）如何影响图选择的信息论极限？
• RQ3 我们能否建立精确的阈值，以明确区分图恢复不可能与可能的区域？
• RQ4 在高维伊辛模型选择中，样本复杂度与模型复杂度之间的根本权衡是什么？
• RQ5 两个不同图的充分统计量之间的差异如何影响其分布的可区分性？

主要发现

• 对于边数最多为 $k$ 的图类 $\mathcal{G}_{p,k}$，当 $n < c k \log p$（$c > 0$ 为某常数）时，任何方法失败概率至少为 $1/2$。
• 当 $n > c' k^2 \log p$（$c' > 0$ 为某常数）时，图解码器以高概率成功，表明在对数因子范围内存在紧致阈值。
• 对于最大度数为 $d$ 的图类 $\mathcal{G}_{p,d}$，当 $n < c d^2 \log p$ 时，任何方法失败概率至少为 $1/2$。
• 当 $n > c' d^3 \log p$ 时，图解码器以高概率成功，表明充分条件中对 $d$ 的依赖呈立方关系。
• 翻转引理证明，翻转与边 $(s,t)$ 相连的节点的自旋，会使充分统计量 $\Delta(x)$ 至少改变 $|\theta_{st}|$，这对区分模型至关重要。
• 分析表明，伊辛模型选择的信息论容量从根本上受限于边数、最大度数与样本量之间的相互作用，不同结构约束下呈现出不同的标度规律。