[論文レビュー] Generalized Measures of Information Transfer

Paul L. Williams, Randall D. Beer|arXiv (Cornell University)|Feb 8, 2011

Neural dynamics and brain function参考文献 2被引用数 56

ひとこと要約

本稿では、トランスファーエンタロピーを状態に依存しない成分と状態に依存する成分に分解することで、一般化された情報転送の測定法を導入し、さらに多次元系に拡張して、固有の、重複する、および協同的な情報転送を定量化する。主な貢献は、情報転送の種類（大きさや方向を超えて）を区別できる形式的フレームワークを提供することであり、部分的情報分解を用いて、制御理論および生理的システムへの応用を含む。

ABSTRACT

Transfer entropy provides a general tool for analyzing the magnitudes and directions---but not the \emph{kinds}---of information transfer in a system. We extend transfer entropy in two complementary ways. First, we distinguish state-dependent from state-independent transfer, based on whether a source's influence depends on the state of the target. Second, for multiple sources, we distinguish between unique, redundant, and synergistic transfer. The new measures are demonstrated on several systems that extend examples from previous literature.

研究の動機と目的

• トランスファーエンタロピーが情報転送の種類（例えば、影響が状態に依存するか否か）を区別できないという限界に対処すること。
• 複数のソースからの寄与として、固有の、重複する、および協同的な寄与を定量化することにより、トランスファーエンタロピーを多次元系に拡張すること。
• 情報理論的測定法と制御理論的概念（オープンループおよびクローズドループ制御）との間の関係を形式化すること。
• 情報転送の量だけでなく、複雑系における情報転送の「種類」を包括的に特徴付けるフレームワークを提供すること。

提案手法

• WilliamsとBeer（2010）の部分的情報（PI）分解を用い、全情報量を固有の、重複する、および協同的な成分に分離する。
• 状態に依存しないトランスファーエンタロピー（SITE）を定義し、これはターゲットの状態に関係なく転送される情報量であり、ソースにのみ条件づけることで導出される。
• 状態に依存するトランスファーエンタロピー（SDTE）を定義し、これはターゲットの現在の状態に依存する情報量であり、SITEを除いた残差から導出される。
• 複数のソースがターゲットに与える影響に対してPI分解を適用し、最小および最大エントロピー測定を用いて重複と協同性を定量化する。
• Kullback-Leibler発散を用いて、SDTEが消える条件を特徴づけ、これは状態に依存する影響の不在と関連付ける。
• モデル系および実際の生理的データ（例：心拍数と呼吸数）に対してフレームワークを適用し、重ね合わせられたトランスファーエンタロピー値によって状態に依存する影響を示した。

実験結果

リサーチクエスチョン

• RQ1 トランスファーエンタロピーは、情報転送の状態に依存しない成分と状態に依存する成分にどのように分解できるか？
• RQ2 提案された一般化された測定法と、オープンループおよびクローズドループ制御などの制御理論的概念との間の正式な関係は何か？
• RQ3 複数のソースからの情報転送は、どのように固有の、重複する、および協同的な寄与に分解できるか？
• RQ4 提案されたフレームワークは、大きさや方向を超えて、情報転送の解釈をどのように改善するか？
• RQ5 このフレームワークは、心拍数と呼吸数の間など、実際の生理的系における状態に依存する影響を検出および定量化できるか？

主な発見

• 状態に依存しないトランスファーエンタロピー（SITE）は、オープンループ制御と正式に同等であり、完全なSITEは最大のオープンループ可制御性に対応する。
• 状態に依存するトランスファーエンタロピー（SDTE）は、かつて、ソースのターゲットへの影響がターゲットの現在の状態に依存しない場合に限り消える。これは、マークフ・遷移モデルにおける条件付き独立性によって定義される。
• 生理的系において、心拍数は呼吸数に、完全に状態に依存する影響を及ぼしており、胸郭容積が低いか高いかのとき、トランスファーエンタロピーが最大となり、平均付近では最小の影響を示した。
• フレームワークは、最小および最大エントロピー測定を用いたPI分解により、多次元情報転送を固有の、重複する、および協同的な成分に成功裏に分解した。
• 理論的解析により、SDTEがゼロであるのは、かつて、条件付き分布 $ p(x'|x,c) $ が $ x $ に対して独立であるか、$ c $ に対して独立である場合に限ることが示された。これは、状態に依存する影響の不在を定義する。
• 提案された測定法により、情報転送のより豊かな特徴づけが可能となり、転送量だけでなく、関数的形態（例えば、ターゲットの状態に依存するか、純粋に予測的であるか）の区別が可能になった。