[論文レビュー] Fluctuation-response theorem for Kullback-Leibler divergences to quantify causation

Andrea Auconi, Benjamin M. Friedrich+1 more|arXiv (Cornell University)|Jan 1, 2021

Advanced Thermodynamics and Statistical Mechanics参考文献 40被引用数 7

ひとこと要約

本稿では、1つの変数の摂動が別の変数の予測分布に与える影響を測る、Kullback-Leibler発散の比として定義される「情報応答」と呼ばれる新しい因果尺度を導入する。この情報理論的尺度は、フィッシャー情報と関連するフラクチュエーション・レスポンス定理を確立し、線形系ではトランスファーエンタロピーに回帰し、物理的摂動応答と情報理論的不変性を統合する。

ABSTRACT

We define a new measure of causation from a fluctuation-response theorem for Kullback-Leibler divergences, based on the information-theoretic cost of perturbations. This information response has both the invariance properties required for an information-theoretic measure and the physical interpretation of a propagation of perturbations. In linear systems, the information response reduces to the transfer entropy, providing a connection between Fisher and mutual information. Copyright (C) 2021 EPLA

研究の動機と目的

• 物理的摂動応答と情報理論的不変性を統合する因果尺度の開発。
• 確率的力学系における因果の広く受け入れられた定量的定義の欠如に対処する。
• フラクチュエーション・レスポンス理論とKL発散を介した情報フローの接続。
• 物理的に解釈可能で、情報理論的に不変な変数間因果的影響の尺度を提供すること。

提案手法

• 局所的応答発散を、x0, y0 が与えられたときの yτ の摂動あり・なしの条件付き分布間のKL発散として定義する。
• 摂動発散を、x0, y0 の自然な分布と摂動ありの結合分布間のKL発散として定義し、摂動の情報コストを測定する。
• 小さな ϵ の極限において、平均局所的応答発散と摂動発散の比として情報応答を提案する。
• 小さな ϵ の極限で、情報応答がフィッシャー情報項の比に等しくなるフラクチュエーション・レスポンス定理を導出する。
• 線形系では、情報応答がトランスファーエンタロピーに正確に還元されることを示し、フィッシャー情報と相互情報量を結びつける。
• 直接の干渉を避けるために、フラクチュエーションの相関を用いた観測的形での測度の再定式化。

実験結果

リサーチクエスチョン

• RQ1 物理的摂動応答と情報理論的不変性を統合する因果尺度はどのように構築できるか？
• RQ2 確率的系におけるフラクチュエーション・レスポンス理論と情報フローの関係は何か？
• RQ3 KL発散に基づく応答測度は、物理的および情報理論的因果の見方を統合できるか？
• RQ4 線形系において、この新しい測度はトランスファーエンタロピーとどのように関係するか？
• RQ5 情報応答は、直接の干渉を用いずに、均衡状態のフラクチュエーションの相関のみを用いて表現可能か？

主な発見

• 情報応答 Γx→yτ は、ϵ→0 の極限において、平均局所的応答発散と摂動発散の比の極限として定義される。
• 小さな ϵ の極限で、情報応答はフィッシャー情報項の比に等しくなり、新たなフラクチュエーション・レスポンス定理が確立される。
• 線形系では、情報応答は正確にトランスファーエンタロピーに還元され、フィッシャー情報と相互情報量を結びつける。
• 情報応答は可逆変換に対して不変であり、単位情報コストあたりの応答として明確な物理的解釈を持つ。
• フラクチュエーションの相関を用いた観測的形に再定式化可能であり、観測データへの応用を可能にする。
• τ < 0 の場合、情報応答はゼロであり、因果の時間的順序を強制する。