[論文レビュー] Information Theory for Complex Systems Scientists

Thomas F. Varley|arXiv (Cornell University)|Apr 24, 2023

Complex Network Analysis Techniques被引用数 4

ひとこと要約

本稿は、複雑系科学者を対象に、エントロピー、相互情報量、トランスファーエントロピーといったコアな概念から、部分的情報分解やネットワーク推定といった高度なトピックまでをカバーする、現代情報理論の包括的で理解しやすい入門書である。これらのツールが非線形な依存関係や統計的関係をどのように解き明かすかを示し、マルチスケールで相互接続された現象への応用について実用的なガイダンスを提供する。

ABSTRACT

In the 21st century, many of the crucial scientific and technical issues facing humanity can be understood as problems associated with understanding, modelling, and ultimately controlling complex systems: systems comprised of a large number of non-trivially interacting components whose collective behaviour can be difficult to predict. Information theory, a branch of mathematics historically associated with questions about encoding and decoding messages, has emerged as something of a lingua franca for those studying complex systems, far exceeding its original narrow domain of communication systems engineering. In the context of complexity science, information theory provides a set of tools which allow researchers to uncover the statistical and effective dependencies between interacting components; relationships between systems and their environment; mereological whole-part relationships; and is sensitive to non-linearities missed by commonly parametric statistical models. In this review, we aim to provide an accessible introduction to the core of modern information theory, aimed specifically at aspiring (and established) complex systems scientists. This includes standard measures, such as Shannon entropy, relative entropy, and mutual information, before building to more advanced topics, including: information dynamics, measures of statistical complexity, information decomposition, and effective network inference. In addition to detailing the formal definitions, in this review we make an effort to discuss how information theory can be interpreted and develop the intuition behind abstract concepts like "entropy," in the hope that this will enable interested readers to understand what information is, and how it is used, at a more fundamental level.

研究の動機と目的

• 情報理論と複雑系科学の間のギャップを埋め、多様な分野の研究者に高度な概念を理解可能にする。
• 従来の統計的手法が複雑系における非線形的・多次元的依存関係を捉えるのには限界があることに対処する。
• 情報理論的ツールを用いて、複雑系における情報の流れ、統合、構造を統一的に理解するフレームワークを提供する。
• 気候モデル、神経科学、社会的ダイナミクスといった実世界の問題への情報理論の応用を研究者にガイドする。
• '情報'を物質のように解釈することを警告し、それが観測者に依存する不確実性低減の性質であることを強調する。

提案手法

• シャノンエントロピー、相対エントロピー、相互情報量といった基礎的概念を、'期待される驚き'や'必要な情報'といった直感的な解釈を用いて導入する。
• 情報の伝達を測定するトランスファーエントロピー、記憶を表すアクティブ・インフォーメーション・ストレージ、予測力の指標であるエクセス・エントロピーといった高度なツールを開発する。
• 部分的情報分解（PID）を用いて、変数がどのように共有、重複して寄与、あるいは協同的に情報を組み合わせるかを解明する。
• 情報ダイナミクスを用いて、システムが時間経過とともに情報の貯蔵・伝達・変換をどのように行うかを分析する。
• 相互情報量とトランスファーエントロピーを用いたネットワーク推定技術を提案し、複雑系における機能的・有効結合性を再構築する。
• 離散的・連続的信号の実用的推定器について論じ、ガウス型および密度ベースの手法を扱い、バイアスと有意性検定に注意を払う。

実験結果

リサーチクエスチョン

• RQ1 情報理論は、非線形的・多次元的な複雑系における統計的依存関係をどのように定量的に評価できるか？
• RQ2 情報は、複雑系における自己組織的挙動、記憶、予測の理解において果たす役割は何か？
• RQ3 情報分解（PID）は、複数の入力がシステムの出力に寄与する際に、重複情報、固有情報、協同情報の違いをどのように解き明かせるか？
• RQ4 トランスファーエントロピーとアクティブ・インフォーメーション・ストレージといった情報理論的測度は、従来の相関に基づく手法に比べてどのように改善されるか？
• RQ5 情報理論には因果関係を推定する上でどのような限界があり、研究者が統計的依存関係を因果関係と誤解しないようにするにはどうすればよいか？

主な発見

• 情報理論は不確実性低減を定量的に扱う枠組みを提供するため、標準的なパラメトリックモデルが見逃す非線形的・多次元的依存関係に特に適している。
• トランスファーエントロピーとアクティブ・インフォーメーション・ストレージといった測度は、非線形的関係であっても、動的システムにおける情報の流れや記憶を効果的に捉えることができる。
• 部分的情報分解（PID）により、複数の入力が出力に与える寄与が、重複、固有、協同の三つの側面に分解可能となり、それぞれの寄与の性質を明確にできる。
• 相互情報量とトランスファーエントロピーを用いたネットワーク推定は、機能的・有効結合性を再構築可能であるが、データサイズや推定器のバイアスに敏感である。
• 情報理論の強みにもかかわらず、因果関係を独自に確立することはできない。異なる因果モデルが同一の有効結合性構造を生み出す可能性があるため、追加のモデリング制約が必要となる。
• 本稿は、'情報'を物質のように人格化することを警告し、それが本質的に観測者に依存し、不確実性の低減に根ざしたものであることを強調している。