[論文レビュー] A general theory to estimate Information transfer in nonlinear systems

Carlos Pires, David Docquier+1 more|arXiv (Cornell University)|Jul 20, 2023

Statistical Mechanics and Entropy被引用数 4

ひとこと要約

本稿では、条件付き期待値と非線形回帰を用いて、非線形確率的システムにおける情報伝達を推定する一般理論を提示する。これにより、システムの確率密度関数を完全に把握していなくても、ロバストでデータ駆動型のシャノンエントロピー伝達レート（RET）の計算が可能になる。本手法は、全状態空間にわたる数値的統合を直接行うブルートフォース統合法に比べ、計算コストが低く、データ要求も少なく、モデル式が存在しない場合にも適用可能である。

ABSTRACT

A general theory for computing information transfers in nonlinear stochastic systems driven by deterministic forcing and additive and/or multiplicative noises, is presented. It extends the Liang-Kleeman framework of causality inference to nonlinear cases based on information transfer across system variables (Liang, 2016). We present an effective method of computing formulas of the rates of Shannon entropy transfer (RETs) between selected causal and consequential variables, relying on the estimation from data of conditional expectations of the system forcing and their derivatives. Those expectations are approximated by nonlinear differentiable regressions, leading to a much easier and more robust way of computing RETs than the brute-force approach calling for numerical integrals over the state-space and the knowledge of the multivariate probability density of the system. The approach is fully adapted to the case where no model equations are available, starting with a nonlinear model fitting from data of the consequential variables, and the subsequent application of method to the fitted model. RETs are decomposed into sums of single one-to-one RETs plus synergetic terms (of pure nonlinear nature) accounting for the joint causal effect of groups of variables. State-dependent RET formulas are also introduced, showing where in state-space the entropy transfers and local synergies are more relevant. A comparison of the RETs estimations is performed with previous methods in the context of two models: (i) a model derived from a potential function and (ii) the classical chaotic Lorenz system, both forced by additive and/or multiplicative noises. The analysis demonstrates that the new estimations are robust, cheaper, and less data-demanding, providing evidence of the possibilities and generalizations offered by the method and opening new perspectives on real-world applications.

研究の動機と目的

• 非線形確率的システムに、決定的駆動力と加法的・乗法的ノイズを組み合わせた一般枠組みを構築し、情報伝達を推定すること。
• リアン・クレーマン因果関係フレームワークを非線形システムに拡張し、多次元確率密度関数を明示的に知らなくてもエントロピー伝達レート（RET）の計算を可能にする。
• モデル式が事前に与えられていない状況でも、観測データのみを用いてRETを推定する実用的でデータ駆動型の手法を提供すること。
• RETを1対1の伝達成分と、非線形相互作用に起因する高次な協同的項に分解し、変数群の共同因果的効果を捉えること。
• 状態空間に応じたRETの式を導入し、エントロピー伝達や協同的効果が最も顕著になる領域を特定すること。

提案手法

• 非線形微分可能回帰を用いて、データからシステムの駆動力およびその微分の条件付き期待値を推定する。
• これらの推定された条件付き期待値を用いて、因果変数と結果変数間のシャノンエントロピー伝達レート（RET）を計算する。
• 全RETを個々の1対1伝達成分と、非線形相互作用に起因する高次な協同的項に分解する。
• 状態空間に応じたRETの表現式を構築し、情報伝達が最も顕著に現れる領域を特定する。
• データフィットモデルおよび既知のモデル（例：ポテンシャル駆動系やローレンツ系）に本手法を適用し、そのロバスト性と効率性を検証する。
• 全状態空間へのブルートフォース数値統合を避けるために、計算コストとデータ要求を削減する回帰ベースの推定に置き換える。

実験結果

リサーチクエスチョン

• RQ1 全結合確率密度関数を把握していない非線形確率的システムにおいて、情報伝達レート（RET）を信頼性高く推定する方法は何か？
• RQ2 データ駆動型回帰ベースの手法は、非線形システムにおけるRET推定において、従来の数値統合手法を上回ることができるか？
• RQ3 因果変数群の協同的寄与は、非線形システムにおける全情報伝達にどのように影響するか？
• RQ4 状態空間のどの領域でエントロピー伝達や非線形協同的効果が最も顕著であり、その程度をどのように定量化できるか？
• RQ5 本手法は、従来の手法と比較して、データ要求および計算コストをどの程度削減できるか？

主な発見

• 提案手法により、確率密度関数の完全な推定を必要とせず、データ駆動型回帰のみで非線形システムにおける情報伝達レート（RET）を高精度に推定可能である。
• 本手法は、全状態空間にわたるブルートフォース数値統合法に比べ、データ要求が著しく少なく、計算コストも低く抑えられる。
• RETは1対1の伝達成分と非線形協同的項に成功裏に分解され、変数群の共同因果的効果が明らかになった。
• 状態依存のRET式により、情報伝達や局所的協同的効果が最も顕著に現れる状態空間の特定領域が同定された。
• ポテンシャル駆動モデルおよびカオス的ローレンツ系への適用により、新たな推定手法のロバスト性と正確性が確認された。
• 解析的モデル式が存在しない場合でも、本手法は完全に適用可能であり、データフィットモデルに依存するのみである。