[论文解读] Estimating Ising Models from One Sample

Yuval Dagan, Constantinos Daskalakis+2 more|arXiv (Cornell University)|Apr 20, 2020

Complex Network Analysis Techniques参考文献 40被引用 7

一句话总结

该论文提出了一种计算高效的估计器，用于从单一样本中学习伊辛模型的相互作用矩阵 $ J $，通过稀疏化和多布拉辛条件确保高概率的 Frobenius 范数误差 $ \widetilde{O}(√k) $，在高温和低温区域均具有紧密的保证，即使当 $ \|J\|_\infty \leq O(1) $ 时亦然。该方法可实现对相互作用强度 $ \beta_i $ 的精确推断，包括 $ |\hat{\beta}_1 - \beta_1| \leq \widetilde{O}(F(\beta_1J_1)^{-1/2}) $，并推广了先前结果，无需施加限制性假设。

ABSTRACT

Given one sample $X \in \{\pm 1\}^n$ from an Ising model $\Pr[X=x]\propto \exp(x^ op J x/2)$, whose interaction matrix satisfies $J:= \sum_{i=1}^k \beta_i J_i$ for some known matrices $J_i$ and some unknown parameters $\beta_i$, we study whether $J$ can be estimated to high accuracy. Assuming that each node of the Ising model has bounded total interaction with the other nodes, i.e. $\|J\|_{\infty} \le O(1)$, we provide a computationally efficient estimator $\hat{J}$ with the high probability guarantee $\|\hat{J} -J\|_F \le \widetilde O(\sqrt{k})$, where $\|J\|_F$ can be as high as $\Omega(\sqrt{n})$. Our guarantee is tight when the interaction strengths are sufficiently low. An example application of our result is in social networks, wherein nodes make binary choices, $x_1,\ldots,x_n$, which may be influenced at varying strengths $\beta_i$ by different networks $J_i$ in which these nodes belong. By observing a single snapshot of the nodes' behaviors the goal is to learn the combined correlation structure. When $k=1$ and a single parameter is to be inferred, we further show $|\hat{\beta}_1 - \beta_1| \le \widetilde O(F(\beta_1J_1)^{-1/2})$, where $F(\beta_1J_1)$ is the log-partition function of the model. This was proved in prior work under additional assumptions. We generalize these results to any setting. While our guarantees aim both high and low temperature regimes, our proof relies on sparsifying the correlation network by conditioning on subsets of the variables, such that the unconditioned variables satisfy Dobrushin's condition, i.e. a high temperature condition which allows us to apply stronger concentration inequalities. We use this to prove concentration and anti-concentration properties of the Ising model, and we believe this sparsification result has applications beyond the scope of this paper as well.

研究动机与目标

• 从单一样本中估计伊辛模型的相互作用矩阵 $ J $，其中 $ J = \sum_{i=1}^k \beta_i J_i $，已知 $ J_i $，未知 $ \beta_i $。
• 在每节点总相互作用有界（即 $ \|J\|_\infty \leq O(1) $）的条件下，提供计算高效的估计器 $ \hat{J} $，并具有高概率的误差保证。
• 将先前针对单参数推断的结果推广至多参数设置，且无需额外假设。
• 利用集中性和反集中性性质，在高温和低温区域均建立紧密的误差界。

提出的方法

• 通过在变量子集上进行条件化以诱导多布拉辛条件，对伊辛模型进行稀疏化，从而获得更强的集中不等式。
• 利用条件独立结构解耦依赖关系，并控制相关性衰减。
• 在高温区域下，对未条件化变量应用反集中性和集中性不等式。
• 采用计算高效的估计器 $ \hat{J} $，以高概率最小化 Frobenius 范数误差 $ \|\hat{J} - J\|_F $。
• 通过对数配分函数 $ F(\beta_1J_1) $ 推导误差界，推广了 $ k=1 $ 时的先前结果。
• 依赖于对 $ J $ 的结构假设，包括有界的 $ \ell^\infty $-范数和已知的 $ J_i $，以实现从单一样本中的估计。

实验结果

研究问题

• RQ1 当 $ J = \sum_{i=1}^k \beta_i J_i $ 且已知 $ J_i $ 时，能否从单一样本中准确估计相互作用矩阵 $ J $？
• RQ2 在每节点相互作用强度有界（即 $ \|J\|_\infty \leq O(1) $）的条件下，估计 $ J $ 的最优误差保证是什么？
• RQ3 该估计器在伊辛模型的高温和低温区域中表现如何？
• RQ4 该方法能否在无需限制性假设的前提下，将先前的单参数推断结果推广至多参数设置？
• RQ5 通过条件化实现的稀疏化在实现模型集中性和反集中性方面起到了什么作用？

主要发现

• 所提出的估计器 $ \hat{J} $ 在高概率下满足 $ \|\hat{J} - J\|_F \leq \widetilde{O}(\sqrt{k}) $，即使当 $ \|J\|_F $ 大到 $ \Omega(\sqrt{n}) $ 时亦然。
• 当相互作用强度足够低时，误差界是紧的，表明在弱相互作用区域实现了最优标度。
• 当 $ k=1 $ 时，该方法提供 $ |\hat{\beta}_1 - \beta_1| \leq \widetilde{O}(F(\beta_1J_1)^{-1/2}) $，在无需额外假设的情况下推广了先前结果。
• 通过在子集上进行条件化以满足多布拉辛条件，该方法确保了高概率的集中性和反集中性。
• 通过条件化实现的稀疏化使得更强的集中不等式得以应用，这是超越主要估计结果的关键技术贡献。
• 该框架适用于高温和低温区域，理论保证在整个相互作用强度范围内均成立。