[论文解读] Lower bounds for testing graphical models: colorings and antiferromagnetic Ising models

Ivona Bezáková, Antonio Blanca+3 more|arXiv (Cornell University)|Jan 22, 2019

Machine Learning and Algorithms参考文献 53被引用 4

一句话总结

本文建立了图形模型中身份检验的计算下界，表明在反铁磁伊辛模型和合法着色中，身份检验的难度与结构学习相当。在 |β|d = ω(log n) 的条件下，除非 RP=NP，否则身份检验是 NP-难的，且在 #BIS 假设下，着色问题也具有类似难度，表明在这些设定下，身份检验与结构学习之间不存在显著的计算优势。

ABSTRACT

We study the identity testing problem in the context of spin systems or undirected graphical models, where it takes the following form: given the parameter specification of the model $M$ and a sampling oracle for the distribution $μ_{\hat{M}}$ of an unknown model $\hat{M}$, can we efficiently determine if the two models $M$ and $\hat{M}$ are the same? We consider identity testing for both soft-constraint and hard-constraint systems. In particular, we prove hardness results in two prototypical cases, the Ising model and proper colorings, and explore whether identity testing is any easier than structure learning. For the ferromagnetic (attractive) Ising model, Daskalakis et al. (2018) presented a polynomial time algorithm for identity testing. We prove hardness results in the antiferromagnetic (repulsive) setting in the same regime of parameters where structure learning is known to require a super-polynomial number of samples. In particular, for $n$-vertex graphs of maximum degree $d$, we prove that if $|β| d = ω(\log{n})$ (where $β$ is the inverse temperature parameter), then there is no polynomial running time identity testing algorithm unless $RP=NP$. We also establish computational lower bounds for a broader set of parameters under the (randomized) exponential time hypothesis. Our proofs utilize insights into the design of gadgets using random graphs in recent works concerning the hardness of approximate counting by Sly (2010). In the hard-constraint setting, we present hardness results for identity testing for proper colorings. Our results are based on the presumed hardness of #BIS, the problem of (approximately) counting independent sets in bipartite graphs. In particular, we prove that identity testing is hard in the same range of parameters where structure learning is known to be hard.

研究动机与目标

• 研究图形模型中的身份检验是否在计算上比结构学习更简单。
• 在结构学习已知困难的参数区域中，建立反铁磁伊辛模型身份检验的困难性结果。
• 在 #BIS 假设下，将这些困难性结果扩展到硬约束系统，特别是合法的 3-着色问题。
• 确定当真实模型的参数处于结构学习需要超多项式样本的区域时，身份检验是否仍然困难。
• 探讨反温度 β 和图度 d 在决定身份检验复杂性中的作用。

提出的方法

• 使用基于随机图的构件，借鉴 Sly (2010) 的方法，证明反铁磁伊辛模型中身份检验的计算下界。
• 利用配分函数和总变差距离比较两个模型的分布，通过配置计数推导出界限。
• 构建一族具有相位向量的图，以在不同参数设置下分析有效配置的数量。
• 利用对称性以及关于合法 3-着色数量的已知结果，推导出 |Ω^A| 和 |Ω^B| 的界限，即具有特定相位模式的着色集合。
• 应用随机化指数时间假设，将困难性结果扩展至 NP-难性区域之外。
• 使用抽样预言机和相位向量抽样技术，模拟分布并在着色模型中测试身份。

实验结果

研究问题

• RQ1 在反铁磁伊辛模型中，身份检验在计算上是否比结构学习更简单？
• RQ2 在何种参数区域中，反铁磁伊辛模型的身份检验是 NP-难的？
• RQ3 在 #BIS 假设下，合法着色的身份检验困难性是否与结构学习的困难性相当？
• RQ4 当 |β|d = ω(log n) 时，即使结构学习需要超多项式样本，身份检验是否仍可在多项式时间内求解？
• RQ5 反温度 β 和最大度 d 在决定身份检验复杂性方面起什么作用？

主要发现

• 当 |β|d = ω(log n) 时，反铁磁伊辛模型的身份检验是 NP-难的，除非 RP=NP，这与结构学习需要超多项式样本的参数区域一致。
• 对于合法的 3-着色问题，在 #BIS 假设下，身份检验在与结构学习已知困难的相同参数区域中也具有困难性。
• 两个模型分布之间的总变差距离受配分函数比值的函数有界，从而可通过配置计数实现困难性证明。
• 当 Z₃(H) < 2^{ℓ/k} - 2 时，总变差距离至多为 2((Z₃(H)+2)/2^{ℓ/k})^k，若 Z₃(H) 较小，则呈指数衰减。
• 当 Z₃(H) ≥ 2^{ℓ/k} - 2 时，总变差距离有下界 1/2(1 - ((Z₃(B)+2)/(Z₃(H)+2))^k)，表明当 Z₃(H) 较大时存在非平凡分离。
• 着色模型的抽样算法运行时间为 O(n)，相位向量抽样方法可在预言机模型下高效模拟目标分布。