[论文解读] Fluctuation-response theorem for Kullback-Leibler divergences to quantify causation

Andrea Auconi, Benjamin M. Friedrich+1 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Thermodynamics and Statistical Mechanics参考文献 40被引用 7

一句话总结

本文提出了一种新颖的因果度量方法，称为“信息响应”——即通过Kullback-Leibler散度之比来量化一个变量的扰动如何影响另一变量的预测分布。该研究建立了一个涨落-响应定理，将这一信息论度量与Fisher信息联系起来，在线性系统中恢复了传递熵，并统一了物理扰动响应与信息论因果性。

ABSTRACT

We define a new measure of causation from a fluctuation-response theorem for Kullback-Leibler divergences, based on the information-theoretic cost of perturbations. This information response has both the invariance properties required for an information-theoretic measure and the physical interpretation of a propagation of perturbations. In linear systems, the information response reduces to the transfer entropy, providing a connection between Fisher and mutual information. Copyright (C) 2021 EPLA

研究动机与目标

• 开发一种统一物理扰动响应与信息论不变性的因果度量方法。
• 解决随机动力系统中缺乏广泛接受的因果性定量定义的问题。
• 将涨落-响应理论与通过Kullback-Leibler散度实现的信息流联系起来。
• 提供一种具有物理解释性、信息论不变性的变量间因果影响度量方法。

提出的方法

• 将局部响应散度定义为给定x0, y0时，yτ在扰动与未扰动条件分布之间的KL散度。
• 将扰动散度定义为自然联合分布与扰动后x0, y0联合分布之间的KL散度，用于量化扰动的信息成本。
• 在ϵ趋近于0的极限下，提出信息响应为局部平均响应散度与扰动散度之比。
• 推导出一个涨落-响应定理，表明在小ϵ极限下，信息响应等于Fisher信息项的比值。
• 证明在线性系统中，信息响应恰好简化为传递熵，从而将Fisher信息与互信息联系起来。
• 通过波动相关性的方法，将该度量重新表述为纯观测形式，避免了直接干预。

实验结果

研究问题

• RQ1 如何使因果度量同时结合物理扰动响应与信息论不变性？
• RQ2 涨落-响应理论与随机系统中信息流之间存在何种关系？
• RQ3 基于KL散度的响应度量能否统一物理与信息论视角下的因果性？
• RQ4 该新度量与线性系统中的传递熵有何关系？
• RQ5 信息响应能否仅通过平衡态波动来表达，而无需直接干预？

主要发现

• 信息响应Γx→yτ被定义为当ϵ→0时，平均局部响应散度与扰动散度之比的极限。
• 在小ϵ极限下，信息响应等于Fisher信息项的比值，从而确立了一个新的涨落-响应定理。
• 对于线性系统，信息响应恰好简化为传递熵，从而将Fisher信息与互信息联系起来。
• 该度量在可逆变换下保持不变，且具有明确的物理解释：单位信息成本下的响应。
• 该度量可通过波动相关性以纯观测形式重新表述，从而可应用于观测数据。
• 当τ < 0时，信息响应为零，从而强制确立了时间的因果箭头。