[论文解读] Faster solutions of the inverse pairwise Ising problem

Tamara Broderick, Miroslav Dud+3 more|ArXiv.org|Dec 14, 2007

Markov Chains and Monte Carlo Methods参考文献 25被引用 60

一句话总结

本文通过结合坐标下降法与改进的直方图蒙特卡罗方法，提出了一种更快求解逆成对伊辛问题的算法，利用蒙特卡罗样本重用技术显著加速收敛。该方法在三分钟内即完成了对40个神经元视网膜网络的准确参数估计，实现了大规模神经数据集的高效分析。

ABSTRACT

Recent work has shown that probabilistic models based on pairwise interactions-in the simplest case, the Ising model-provide surprisingly accurate descriptions of experiments on real biological networks ranging from neurons to genes. Finding these models requires us to solve an inverse problem: given experimentally measured expectation values, what are the parameters of the underlying Hamiltonian? This problem sits at the intersection of statistical physics and machine learning, and we suggest that more efficient solutions are possible by merging ideas from the two fields. We use a combination of recent coordinate descent algorithms with an adaptation of the histogram Monte Carlo method, and implement these techniques to take advantage of the sparseness found in data on real neurons. The resulting algorithm learns the parameters of an Ising model describing a network of forty neurons within a few minutes. This opens the possibility of analyzing much larger data sets now emerging, and thus testing hypotheses about the collective behaviors of these networks.

研究动机与目标

• 解决大规模神经网络中求解逆成对伊辛问题的计算瓶颈问题。
• 提升最大熵模型拟合弱成对相关性实验神经数据的效率。
• 通过缩短参数推断的计算时间，实现对大规模神经种群数据的实用化分析。
• 优化迭代学习算法中蒙特卡罗采样与参数更新迭代次数之间的权衡。

提出的方法

• 该算法使用坐标下降法，基于梯度估计迭代更新伊辛模型参数（场强 $h_i$ 和耦合系数 $J_{ij}$）。
• 通过整合直方图蒙特卡罗方法，将在参数更新过程中复用先前生成的蒙特卡罗样本，减少冗余模拟。
• 该方法动态平衡每阶段的蒙特卡罗样本数 ($M$) 与每阶段的参数更新迭代次数 ($T$)，以优化收敛速度。
• 在当前模型分布下，通过马尔可夫链蒙特卡罗采样计算自旋关联 $\langle\sigma_i\sigma_j\rangle$ 的期望值。
• 通过预测与观测到的连通两体关联 $C_{ij}$ 之间的平均绝对误差 $\Delta C$ 监测收敛情况。
• 优化过程受限于固定总运行时间（300秒），性能通过算法在时间预算内达到由半数据集比较定义的目标误差水平的速度来评估。

实验结果

研究问题

• RQ1 蒙特卡罗样本重用是否能显著加速求解逆伊辛问题的收敛？
• RQ2 在高效学习中，蒙特卡罗采样与参数更新迭代次数之间应如何实现最优平衡？
• RQ3 所提出的方法是否能在实际运行时间限制内实现真实神经数据的准确参数推断？
• RQ4 该算法性能如何随蒙特卡罗样本数与更新迭代次数的变化而变化？

主要发现

• 该算法在300秒运行时间限制内，仅用不到三分钟即成功从真实视网膜数据中学习了40个神经元伊辛模型的参数，实现了收敛。
• 中等程度的蒙特卡罗样本重用（每阶段 $T \sim 30-200$ 次迭代）在速度与精度之间提供了最佳权衡，避免了收敛过慢或近似无效的问题。
• 该方法在广泛范围的 $T$ 与 $M$ 值下，均在时间预算内达到由数据两半比较定义的收敛阈值，$\Delta C$ 成功达到目标水平。
• 性能对 $M$ 与 $T$ 的变化具有鲁棒性，在 $M \sim 1-3 \times 10^5$ 与 $T \sim 30-200$ 附近存在宽广的最优窗口，表明具有实际稳定性。
• 与朴素蒙特卡罗方法（如 $T=1$）相比，该算法在收敛速度上至少提升了一个数量级。
• 结果表明，现在已可高效求解更大神经种群的逆伊辛问题，为集体网络行为的新测试提供了可能。