[论文解读] Maximizing weighted Shannon entropy for network inference with little data

Danh-Tai Hoang, Juyong Song+2 more|arXiv (Cornell University)|May 18, 2017

Neural dynamics and brain function被引用 2

一句话总结

本文提出了一种基于统计物理的网络推断方法，通过最大化加权香农熵来提升小样本数据下的模型恢复能力。通过最小化数据的自由能，该方法能够准确推断非平衡动力学伊辛模型中的耦合强度，并成功重建了 salamander 视网膜和货币汇率网络的功能连接性，即使在耦合强度变化较大且数据有限的情况下亦表现良好。

ABSTRACT

Success in modeling complex phenomena such as human perception hinges critically on the availability of data and computational power. Significant progress has been made in modeling such phenomena using probabilistic methods, particularly in image analysis and speech recognition. Maximum Likelihood Estimation (MLE) combined with Bayesian model selection is the basis of much of this progress, as MLE converges to the true model with copious data. In the sciences, large enough datasets are rarae aves, so alternatives to MLE must be developed for small sample size. We introduce a data-driven statistical physics approach to model inference based on minimizing a free energy of data and show superior model recovery for small sample sizes. We demonstrate coupling strength inference in non-equilibrium kinetic Ising models, including in the difficult large coupling variability regime, and show scaling to systems of arbitrary size. As applications, we infer a functional connectivity network in the salamander retina and a currency exchange rate network from time-series data of neuronal spiking and currency exchange rates, respectively. Accurate small sample size inference is critical for devising a profitable currency hedging strategy.

研究动机与目标

• 解决在数据稀缺情况下的准确网络推断挑战，这是神经科学和金融建模中的常见问题。
• 克服最大似然估计（MLE）在样本量较小时失效的局限性。
• 开发一种数据驱动的方法，利用自由能最小化来提升非平衡系统中的模型恢复能力。
• 实现对任意规模系统的可扩展推断，特别是在耦合强度变化较大的情形下。
• 在真实应用场景中展示其实际效用，例如视网膜功能连接性和货币汇率网络。

提出的方法

• 从统计物理原理出发，构建一个结合数据似然和熵正则化的自由能泛函。
• 通过最大化加权香农熵来惩罚过拟合，并在数据稀缺时偏好稳健且可泛化的模型。
• 将该方法应用于非平衡动力学伊辛模型，从时间序列数据中推断耦合强度。
• 利用变分推断技术优化自由能，以近似耦合参数的后验分布。
• 通过引入平均场近似和高效的数值求解器，将推断框架扩展至大规模系统。
• 将该方法与贝叶斯模型选择相结合，以平衡模型复杂度与数据拟合程度。

实验结果

研究问题

• RQ1 基于加权熵最大化的自由能最小化方法是否能在小样本网络推断中优于 MLE？
• RQ2 该方法在耦合值变化较大的非平衡动力学伊辛模型中，对耦合强度的恢复效果如何？
• RQ3 该方法能否扩展至从有限时间序列数据中推断大规模系统的功能连接性？
• RQ4 该方法是否能实现对稀疏数据下真实生物和金融系统功能网络的准确重构？
• RQ5 在低数据场景下，熵加权对模型泛化能力和鲁棒性有何影响？

主要发现

• 与 MLE 相比，该方法在小样本场景下显著提升了模型恢复的准确性，尤其在高耦合变异性条件下表现更优。
• 该方法成功利用有限的神经元放电数据推断出 salamander 视网膜的功能连接性，揭示了具有生物学合理性的网络结构。
• 该方法能够从短时间序列中准确推断货币汇率网络，支持构建盈利的对冲策略。
• 该框架可有效扩展至任意规模的系统，在系统维度增加时仍保持高精度。
• 通过最大化加权香农熵，可减少过拟合，提升模型泛化能力，尤其在数据稀缺时效果显著。
• 自由能最小化为 MLE 提供了一种有原则的替代方案，在低数据、高变异性场景下表现更优。