[论文解读] Interaction Screening: Efficient and Sample-Optimal Learning of Ising Models

Marc Vuffray, Sidhant Misra+2 more|arXiv (Cornell University)|May 24, 2016

Markov Chains and Monte Carlo Methods参考文献 2被引用 22

一句话总结

本文提出了正则化交互筛选估计器（RISE），一种计算高效且样本最优的方法，用于从独立同分布样本中学习伊辛模型的结构。通过最小化带有 $β$-正则化的凸交互筛选目标函数，RISE 实现了完美图结构恢复，其样本复杂度在系统规模 $p$ 上对数依赖，并且对最大耦合强度和节点度数呈指数依赖——与信息论下限完全一致。

ABSTRACT

We consider the problem of learning the underlying graph of an unknown Ising model on p spins from a collection of i.i.d. samples generated from the model. We suggest a new estimator that is computationally efficient and requires a number of samples that is near-optimal with respect to previously established information-theoretic lower-bound. Our statistical estimator has a physical interpretation in terms of "interaction screening". The estimator is consistent and is efficiently implemented using convex optimization. We prove that with appropriate regularization, the estimator recovers the underlying graph using a number of samples that is logarithmic in the system size p and exponential in the maximum coupling-intensity and maximum node-degree.

研究动机与目标

• 开发一种计算高效且统计一致的方法，用于从独立同分布样本中学习伊辛模型的图结构。
• 实现接近信息论下限的样本复杂度，该下限由先前工作建立。
• 在学习过程中消除对最大耦合强度、最小耦合强度或最大节点度数的先验知识需求。
• 提供一个可推广的框架，基于交互筛选，可扩展至高阶和混合字母表图形模型，而不仅限于成对二值模型。

提出的方法

• 该方法采用基于交互筛选目标函数（ISO）的凸优化框架，ISO 是一种旨在识别变量依赖关系的损失函数的经验平均。
• 估计器被表述为带有 $Ø–1$ 惩罚的正则化 M-估计器，以促进稀疏性并确保一致的图结构恢复。
• 对估计的耦合系数应用阈值处理以恢复真实图结构，阈值设定为 $\alpha/2 = \beta/2$ 以实现精确恢复。
• 算法通过凸优化技术实现，具有准四次方时间复杂度（理论上可实现准二次方优化）。
• 该方法基于物理直觉：每个自旋通过局部优化筛选与邻居的相互作用，从而隔离相关耦合。
• 通过在具有周期性边界条件的二维网格伊辛模型上进行数值实验来验证该方法，使用全面采样以确保独立同分布数据。

实验结果

研究问题

• RQ1 能否设计一种计算高效的估计器，用于伊辛模型结构学习，以实现接近最优的样本复杂度？
• RQ2 交互筛选目标函数是否能在不依赖模型参数先验知识的前提下，实现对真实图结构的一致恢复？
• RQ3 样本复杂度如何随系统规模 $p$、最大耦合强度 $\beta$ 和最大节点度数的变化而变化？
• RQ4 在存在长程相关性的情况下，该估计器是否能在样本效率上优于现有方法（如 Bresler 的贪心算法）？
• RQ5 该方法是否可推广至成对二值伊辛模型以外的其他图形模型？

主要发现

• RISE 估计器在样本数量随系统规模 $p$ 对数增长时，实现了完美图结构恢复，其样本复杂度与理论下限仅相差对数因子。
• 实验结果表明，实现 95% 成功率所需的最小样本数 $n_{\text{min}}$ 在 $\theta^* = 0.7$ 的二维网格上约为 $\approx 1.1 \times 10^5 \ln p$，显著优于理论预测的 $3.2 \times 10^{15} \ln p$。
• 在 $4 \times 4$ 网格的铁磁情况下，$n_{\text{min}}$ 的经验缩放为 $\exp(12.8\beta)$；在自旋玻璃情况下则为 $\exp(5.6\beta)$，两者均低于理论边界 $\exp(24\beta)$。
• 该方法在采样更具挑战性的场景下表现更优——例如具有随机符号的自旋玻璃——表明其对复杂相关结构具有鲁棒性。
• 与先前方法（如 Bresler 算法）不同，该估计器无需事先知道最大耦合强度、最小耦合强度或最大节点度数。
• 数值实验确认，在 45 次试验中，RISE 估计器以高于 95% 的概率成功恢复真实图结构，验证了其一致性与实际可行性。