[论文解读] A general theory to estimate Information transfer in nonlinear systems

Carlos Pires, David Docquier+1 more|arXiv (Cornell University)|Jul 20, 2023

Statistical Mechanics and Entropy被引用 4

一句话总结

本文提出了一种通用理论，通过条件期望和非线性回归估计非线性随机系统中的信息传递，实现无需完整掌握系统概率密度的鲁棒、数据驱动的香农熵转移速率（RETs）计算。该方法在计算成本、数据需求方面优于暴力数值积分，且即使在无模型方程的情况下也适用。

ABSTRACT

A general theory for computing information transfers in nonlinear stochastic systems driven by deterministic forcing and additive and/or multiplicative noises, is presented. It extends the Liang-Kleeman framework of causality inference to nonlinear cases based on information transfer across system variables (Liang, 2016). We present an effective method of computing formulas of the rates of Shannon entropy transfer (RETs) between selected causal and consequential variables, relying on the estimation from data of conditional expectations of the system forcing and their derivatives. Those expectations are approximated by nonlinear differentiable regressions, leading to a much easier and more robust way of computing RETs than the brute-force approach calling for numerical integrals over the state-space and the knowledge of the multivariate probability density of the system. The approach is fully adapted to the case where no model equations are available, starting with a nonlinear model fitting from data of the consequential variables, and the subsequent application of method to the fitted model. RETs are decomposed into sums of single one-to-one RETs plus synergetic terms (of pure nonlinear nature) accounting for the joint causal effect of groups of variables. State-dependent RET formulas are also introduced, showing where in state-space the entropy transfers and local synergies are more relevant. A comparison of the RETs estimations is performed with previous methods in the context of two models: (i) a model derived from a potential function and (ii) the classical chaotic Lorenz system, both forced by additive and/or multiplicative noises. The analysis demonstrates that the new estimations are robust, cheaper, and less data-demanding, providing evidence of the possibilities and generalizations offered by the method and opening new perspectives on real-world applications.

研究动机与目标

• 开发一种通用框架，用于估计具有确定性驱动和加法/乘性噪声的非线性随机系统中的信息传递。
• 通过在无需显式掌握多变量概率密度的情况下计算熵转移速率（RETs），将Lianga-Kleeman因果关系框架扩展至非线性系统。
• 为仅提供观测数据而无先验模型方程的情况，提供一种实用的数据驱动方法，用于估计RETs。
• 将RETs分解为一对一传递项和非线性协同项，捕捉变量组的联合因果效应。
• 提出状态依赖的RET公式，识别状态空间中熵传递和协同作用最显著的位置。

提出的方法

• 使用非线性可微回归从数据中估计系统驱动及其导数的条件期望。
• 利用这些估计的条件期望，计算因果变量与结果变量之间的香农熵转移速率（RETs）。
• 将总RETs分解为单个一对一传递项和由非线性相互作用产生的高阶协同项。
• 制定状态依赖的RET表达式，以识别状态空间中信息传递最显著的区域。
• 将该方法应用于数据拟合模型和已知模型（如势能驱动系统和Lorenz系统），以验证其鲁棒性和效率。
• 通过回归估计替代暴力数值积分，避免在状态空间上的全维积分，从而降低计算成本和数据需求。

实验结果

研究问题

• RQ1 在不了解完整联合概率密度的情况下，如何可靠估计非线性随机系统中的信息传递速率（RETs）？
• RQ2 基于数据驱动回归的方法是否能在估计非线性系统的RETs时优于传统的数值积分方法？
• RQ3 因果变量组的协同贡献如何影响非线性系统中的总信息传递？
• RQ4 在状态空间的哪些区域，熵传递和非线性协同作用最为显著，且能否实现量化？
• RQ5 与现有方法相比，所提出的方法在多大程度上减少了数据和计算需求？

主要发现

• 所提出的方法仅通过数据驱动回归即可准确估计非线性系统中的信息传递速率（RETs），无需进行完整的概率密度估计。
• 与在状态空间上进行暴力数值积分相比，该方法显著降低了数据需求和计算成本。
• RETs被成功分解为一对一传递分量和非线性协同项，揭示了联合因果效应。
• 状态依赖的RET公式识别出状态空间中信息传递和局部协同作用最相关的特定区域。
• 在势能驱动模型和混沌Lorenz系统上的验证结果证实了新估计方法的鲁棒性和准确性。
• 即使在无解析模型方程的情况下，该方法仍可完全适用，仅依赖于数据拟合模型。