[論文レビュー] Stripping syntax from complexity: An information-theoretical perspective on complex systems

Rick Quax, Omri Har-Shemesh+2 more|arXiv (Cornell University)|Mar 11, 2016

Complex Network Analysis Techniques被引用数 4

ひとこと要約

本論文は、分野特有の詳細を抽象化し、システムをビットを格納・伝達・変更する情報処理装置として扱うことで、複雑系を情報理論的枠組みで研究する手法を提案する。モデル固有の構文を臨界性や頑健性といった普遍的現象と分離させることで、複雑系の分野横断的理解を可能にし、複雑系における新たな形の普遍性の解明につながる可能性がある。

ABSTRACT

Claude Shannons information theory (1949) has had a revolutionary impact on communication science. A crucial property of his framework is that it decouples the meaning of a message from the mechanistic details from the actual communication process itself, which opened the way to solve long-standing communication problems. Here we argue that a similar impact could be expected by applying information theory in the context of complexity science to answer long-standing, cross-domain questions about the nature of complex systems. This happens by decoupling the domain-specific model details (e.g., neuronal networks, ecosystems, flocks of birds) from the cross-domain phenomena that characterize complex systems (e.g., criticality, robustness, tipping points). This goes beyond using information theory as a non-linear correlation measure, namely it allows describing a complex system entirely in terms of the storage, transfer, and modification of informational bits. After all, a phenomenon that does not depend on model details should best be studied in a framework that strips away all such details. We highlight the first successes of information-theoretic descriptions in the recent complexity literature, and emphasize that this type of research is still in its infancy. Finally we sketch how such an information-theoretic description may even lead to a new type of universality among complex systems, with a potentially tremendous impact. The goal of this perspective article is to motivate a paradigm shift in the young field of complexity science using a lesson learnt in communication science.

研究の動機と目的

• モデル固有の詳細を除去することで、複雑系に関する長年の分野横断的問いに応えること。
• 臨界性やトゥーリングポイントなどの普遍的現象を、分野固有の実装から分離すること。
• 相関尺度としての情報理論の使用を超えて、複雑性を研究する基盤的枠組みとして情報理論を確立すること。
• シャノンが意味を通信メカニズムから分離したのをヒントに、複雑性科学におけるパラダイムシフトを促すこと。
• 構造的・動的特徴ではなく情報処理に注目することで、複雑系の新たなタイプの普遍性が生じる可能性を探ること。

提案手法

• 複雑系を情報ビットを処理する実体として扱うことで、シャノンの情報理論を適用する。
• エントロピー、トランスファーエントロピー、アルゴリズム的複雑性といった、情報理論的根幹となる数量に焦点を当てる。
• 情報の保存、伝達、変更を、システム行動の中心的記述子として用いる。
• 神経ネットワーク、エコシステム、群れなど、あらゆる複雑系を、その具体的なメカニズムに言及せずに情報処理系として扱う。
• 情報がコンポーネント間でどのように保存され、共有され、変換されるかという観点から、システムダイナミクスを形式化する。
• 分野特有の構文を抽象化することで、システム間のパターンを明らかにすることに重点を置く。

実験結果

リサーチクエスチョン

• RQ1 情報理論は、特定のモデル詳細に依存せずに、複雑系をどのように記述できるか？
• RQ2 情報理論的測定によって捉えられる、複雑系の普遍的特性とは何か？
• RQ3 構造的・動的特徴ではなく情報処理に注目することで、複雑系の統一的記述が可能になるか？
• RQ4 情報理論は、分野を越えて臨界性や頑健性といった現象をどのように深く理解できるか？
• RQ5 情報理論的記述によって、複雑系における新たな形の普遍性が生じる可能性はあるか？

主な発見

• 本論文は、情報理論的記述が分野特有の構文を抽象化しても、本質的なシステムレベルの挙動を保持できることを示している。
• 情報の保存、伝達、変更に注目することで、本フレームワークは複雑系の分野横断的比較を可能にしている。
• 本アプローチは、臨界性やトゥーリングポイントといった現象が特定のモデルに依存するのではなく、情報ダイナミクスに依存することを明らかにしている。
• 本手法は、シャノン理論が通信科学を革命的に変えたのと同様に、複雑系における普遍的原則の同定に基盤を提供する。
• 本フレームワークはまだ初期段階にあり、文献における初期の成功事例から、広範な応用の可能性が示唆されている。
• 著者らは、本視点が、構造的・機能的類似性ではなく情報処理に基づく新たなタイプの普遍性を複雑性科学にもたらす可能性があると主張している。