[論文レビュー] Multivariate information measures: an experimentalist's perspective

Nicholas M. Timme, Wesley T. Alford+2 more|arXiv (Cornell University)|Nov 28, 2011

Neural dynamics and brain function被引用数 13

ひとこと要約

本論文は、神経科学分野における複雑系の分析を目的として、相互情報量、全相関、デュアル全相関といった多次元情報測度の包括的比較を提供している。モデル系および実際の神経スパikingデータを用いてこれらの測度を評価し、異なる測度がシンメトリーと冗長性の異なる側面を明らかにすることを示した。研究者による再現可能な解析を可能にするため、オープンソースのMATLABコードを提供している。

ABSTRACT

Information theory is widely accepted as a powerful tool for analyzing complex systems and it has been applied in many disciplines. Recently, some central components of information theory - multivariate information measures - have found expanded use in the study of several phenomena. These information measures differ in subtle yet significant ways. Here, we will review the information theory behind each measure, as well as examine the differences between these measures by applying them to several simple model systems. In addition to these systems, we will illustrate the usefulness of the information measures by analyzing neural spiking data from a dissociated culture through early stages of its development. We hope that this work will aid other researchers as they seek the best multivariate information measure for their specific research goals and system. Finally, we have made software available online which allows the user to calculate all of the information measures discussed within this paper.

研究の動機と目的

• 複雑系研究において広く用いられる多次元情報測度の概念的・数学的差異を明確化すること。
• 既知の情報理論的性質を持つ単純なモデル系を用いて、これらの測度の性能と解釈可能性を評価すること。
• 発達中の分離神経シナプス系からの実際の神経スパikingデータにこれらの測度を適用すること。
• 研究者の特定の研究目的に応じて、最も適切な多次元情報測度を選択するための実用的ガイドを提供すること。
• 本論文で議論されたすべての情報測度を実装したオープンソースMATLABソフトウェアを公開し、再現可能性を確保すること。

提案手法

• 相互情報量、全相関（TC）、デュアル全相関（DTC）、部分情報分解（PID）を含む、主要な多次元情報測度の表記および定義を統一・レビューすること。
• XORゲートや冗長的・協同的ネットワークなどの解析的に扱いやすいモデル系に各測度を適用し、制御された条件下での挙動を比較すること。
• モデルパラメータから導かれる連鎖確率分布を用いて、標準的な情報理論的式を用いてエントロピー、相互情報量、および高次情報測度を計算すること。
• 発達段階に応じた分離皮質シナプス系からの実験的神経スパikingデータを分析し、情報伝達および相互作用構造の変化を追跡すること。
• 独自開発のMATLABコードを用いて測度を実装・検証し、公開することで再現可能性とアクセシビリティを確保すること。
• 最小相互情報量に基づく冗長性測度を用いて、部分情報分解（PID）により、標的変数に関する情報への冗長的および協同的寄与を分離すること。

実験結果

リサーチクエスチョン

• RQ1 既知の協同的または冗長的構造を持つシステムに適用した場合、相互情報量、TC、DTC、PIDといった異なる多次元情報測度は、どのように性能を発揮するか？
• RQ2 これらの測度は、モデル系における多次元的依存関係の測定において、どの程度一致または乖離するか？
• RQ3 神経ネットワークの発達に伴い、シンメトリーと冗長性はどのように変化するか？情報理論的フレームワークを用いて測定した場合。
• RQ4 部分情報分解（PID）は、相互情報量とは異なり、神経データにおける冗長的および協同的寄与を効果的に分離できるか？
• RQ5 発達中の神経回路の機能的組織を理解する上で、どの多次元情報測度が最も情報を提供するか？

主な発見

• XORゲートモデルにおいて、相互情報量と全相関（TC）は同一の結果を示し、それが完全に協同的な系であることを正しく特定した。
• 部分情報分解（PID）は、発達中の神経系において、同時に冗長性と協同性が存在することを明らかにしたが、これは相互情報量では捉えられなかった側面であった。
• 独立的だが同一でない寄与を持つモデルでは、相互情報量はネット情報量がゼロとなったが、PIDは非ゼロの冗長性と協同性を正しく特定した。
• デュアル全相関（DTC）測度は、依存関係の構造に対して感受性が高く、変数間の共有情報の捕捉に優れていた。
• 本研究では、どの測度も普遍的に最適であるとは限らず、研究課題に応じて、多次元的依存の異なる側面を露わにすることがわかった。
• オープンソースのMATLAB実装により、研究者が議論されたすべての測度を計算可能となり、多次元系の一貫性と再現性のある解析が促進された。