[論文レビュー] Toward an information theory of complex networks

Kartik Anand, Ginestra Bianconi|arXiv (Cornell University)|Jul 9, 2009

Computational Drug Discovery Methods被引用数 2

ひとこと要約

本稿では、情報理論の概念を拡張することで、ネットワーク集合に対するシャノンエントロピーを定義するフレームワークを提案する。これにより、ギブズおよびフォン・ノイマンエントロピーと関連づけられ、最大エントロピーのノイズモデルの構築が可能になり、複雑ネットワークにおける推論が情報理論的根拠に基づいて前進する。

ABSTRACT

The quantification of the complexity of networks is, today, a fundamental problem in the physics of complex systems. A possible roadmap to solve the problem is via extending key concepts of information theory to networks. In this paper we propose how to define the Shannon entropy of a network ensemble and how it relates to the Gibbs and von Neumann entropies of network ensembles. The quantities we introduce here will play a crucial role for the formulation of null models of networks through maximum-entropy arguments and will contribute to inference problems emerging in the field of complex networks.

研究の動機と目的

• 情報理論の原則を用いて、ネットワーク集合に対するシャノンエントロピーの形式的定義を確立すること。
• 統計力学における既知の概念、たとえばギブズおよびフォン・ノイマンエントロピーと、ネットワーク集合のエントロピーを結びつけること。
• 複雑ネットワークにおける最大エントロピーのノイズモデルを構築するための理論的基盤を提供すること。
• 情報理論的推論に基づくネットワーク科学における推論問題を支援すること。
• エントロピーに基づく測定を用いて、ネットワーク構造の体系的特徴付けと比較を可能にすること。

提案手法

• ネットワークを可能なネットワーク実現の確率分布としてモデル化することで、シャノンエントロピーをネットワーク集合へと拡張する。
• 提案されたシャノンエントロピーとネットワーク集合のギブズエントロピーとの関係を導出する。
• ネットワークの隣接行列とその固有値を介して、ネットワーク集合エントロピーとフォン・ノイマンエントロピーの関係を確立する。
• 最大エントロピーの原則を適用して、所定の構造的制約を保持するノイズモデルを生成する。
• 形式的枠組みを用いて、集合レベルの性質を分析し、不確実性下でのネットワーク構造を推論する。
• 統計力学と情報理論の概念を統合し、複雑ネットワークに対して一貫性のあるエントロピー測度を定義する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてネットワーク集合に対するシャノンエントロピーを形式的に定義できるか？
• RQ2 ネットワーク集合のシャノンエントロピーとギブズエントロピーおよびフォン・ノイマンエントロピーの関係は何か？
• RQ3 最大エントロピーの原則をどのようにして複雑ネットワークのノイズモデルに適用できるか？
• RQ4 このエントロピー枠組みは、ネットワーク推論および構造的特徴付けをどのように改善するか？
• RQ5 この情報理論的アプローチは、ネットワーク科学における異なるエントロピー測度を統一できるか？

主な発見

• 本稿では、可能なネットワーク構成の不確実性を測る指標として、ネットワーク集合のシャノンエントロピーが成功裏に定義された。
• 特定の条件下で、ネットワーク集合のシャノンエントロピーとギブズエントロピーとの数学的同等性が確立された。
• 隣接行列の固有値を介して、ネットワーク集合エントロピーがフォン・ノイマンエントロピーと関連づけられた。
• 導出されたエントロピー測度により、所定のトポロジー的制約を保持する最大エントロピーのノイズモデルの構築が可能になった。
• 不確実性と情報量の形式的定式化を通じて、複雑ネットワークにおける推論のための原則的基盤が提供された。
• 結果として、ネットワーク科学における統一された情報理論的言語の基盤が築かれた。