[论文解读] A fast and accurate algorithm for inferring sparse Ising models via parameters activation to maximize the pseudo-likelihood

Silvio Franz, Federico Ricci‐Tersenghi+1 more|arXiv (Cornell University)|Jan 31, 2019

Theoretical and Computational Physics参考文献 7被引用 5

一句话总结

本文提出PAMPL，一种快速且准确的算法，通过迭代激活最具信息量的参数以最大化伪似然，来推断稀疏伊辛模型。其在重建精度上优于现有方法（如MPF），同时保持相近的运行速度，尤其在稀疏图上每轮计算成本极低（O(N)）。

ABSTRACT

We propose a new algorithm to learn the network of the interactions of pairwise Ising models. The algorithm is based on the pseudo-likelihood method (PLM), that has already been proven to efficiently solve the problem in a large variety of cases. Our present implementation is particularly suitable to address the case of sparse underlying topologies and it is based on a careful search of the most important parameters in their high dimensional space. We call this algorithm Parameters Activation to Maximize Pseudo-Likelihood (PAMPL). Numerical tests have been performed on a wide class of models such as random graphs and finite dimensional lattices with different type of couplings, both ferromagnetic and spin glasses. These tests show that PAMPL improves the performances of the fastest existing algorithms.

研究动机与目标

• 解决稀疏图模型中的逆伊辛问题，即在真实网络拓扑未知时，需从数据中推断出拓扑结构。
• 克服现有伪似然方法中全参数优化的低效性，尤其是在底层图结构稀疏时。
• 开发一种可扩展的算法，将计算聚焦于最相关的耦合参数，减少对非活跃或无关参数的无谓操作。
• 在保持每轮计算成本极低的同时，实现对真实网络结构的高精度重建。
• 为MPF和基于消去法的伪似然方法提供一种稳健的替代方案，尤其在数据有限和高维情形下。

提出的方法

• 该算法采用参数激活策略，仅根据其对伪似然梯度的贡献，选择性地更新最具相关性的耦合参数 $J_{ij}$。
• 采用小批量随机优化方案，高效计算梯度，将每轮计算成本从 $O(N^2)$ 降低至 $O(N)$。
• 核心优化目标为对数伪似然函数 $\mathcal{S}(J)$，通过条件化于单个自旋变量避免计算难以处理的配分函数。
• 采用学习率 $\epsilon$，通过在 $\mathcal{S}(J)$ 上进行梯度上升更新参数，并基于目标函数的相对变化 $\Delta K / K$ 设定停止准则。
• 优化后应用阈值处理程序以恢复稀疏结构，与其它伪似然方法类似。
• 将该算法与最小概率流（MPF）进行比较，两者具有相似的更新规则，但MPF缺乏基于激活的选择机制。

实验结果

研究问题

• RQ1 参数激活策略是否能提升稀疏伊辛模型中基于伪似然推断的效率与精度？
• RQ2 与现有方法相比，PAMPL的计算成本如何随系统规模 $N$ 和反温度 $\beta$ 变化？
• RQ3 在稀疏图上，PAMPL是否能实现优于MPF及其他最先进算法的重建精度？
• RQ4 小批量大小与学习率对PAMPL收敛速度和最终误差有何影响？
• RQ5 在缺乏拓扑先验知识的情况下，该算法能否在低采样率条件下可靠地识别真实网络结构？

主要发现

• 在随机图和二维铁磁晶格上，PAMPL的重建精度均高于MPF及其他伪似然方法，以真正例率（TPR）和真负例率（TNR）衡量。
• 该算法每轮计算成本保持在 $O(N)$，显著快于标准伪似然方法中全参数更新的 $O(N^2)$ 成本。
• 在 $N=36$、$M=5000$、$\beta=0.5$ 的二维铁磁晶格上，PAML在700轮迭代后 TPR 和 TNR 均超过 0.98，误差 $\epsilon \approx 0.025$。
• PAML与MPF的执行时间相当，且在 $\beta \in \{0.2, 0.3, 0.4, 0.5\}$ 范围内，两者均随 $N$ 呈对数增长，如图13所示。
• 误差 $\epsilon$（定义见式9）随 $M$ 增大而减小，对 $\beta$ 敏感，在较高温度下收敛更快。
• 尽管 TPR 和 TNR 较高，但早期阶段耦合值仍与真实值相距甚远，表明结构收敛快于参数精度收敛。