[論文レビュー] Nonnegative Decomposition of Multivariate Information

Paul L. Williams, Randall D. Beer|arXiv (Cornell University)|Apr 14, 2010

Neural Networks and Applications参考文献 8被引用数 278

ひとこと要約

本稿では、ターゲット変数の各結果について、どのソースが提供する情報の最小値を、結果の平均をとることで再定義することによって、多次元情報の非負の部分情報分解（PID）を提案する。この手法により、冗長性と協同性の役割が明確化される非負の部分情報アトムに分解されるシャノン情報の冗長性ラティスが構築され、相互情報量の負の値は、これらの成分の混同によるものであると説明される。

ABSTRACT

Of the various attempts to generalize information theory to multiple variables, the most widely utilized, interaction information, suffers from the problem that it is sometimes negative. Here we reconsider from first principles the general structure of the information that a set of sources provides about a given variable. We begin with a new definition of redundancy as the minimum information that any source provides about each possible outcome of the variable, averaged over all possible outcomes. We then show how this measure of redundancy induces a lattice over sets of sources that clarifies the general structure of multivariate information. Finally, we use this redundancy lattice to propose a definition of partial information atoms that exhaustively decompose the Shannon information in a multivariate system in terms of the redundancy between synergies of subsets of the sources. Unlike interaction information, the atoms of our partial information decomposition are never negative and always support a clear interpretation as informational quantities. Our analysis also demonstrates how the negativity of interaction information can be explained by its confounding of redundancy and synergy.

研究の動機と目的

• 多次元情報理論における相互情報量の負の値という長年の問題を解決すること。
• 解釈可能な成分に分解可能な非負の多次元情報分解を提供すること。
• ラティスに基づくアプローチを用いて、多次元システムにおける冗長性と協同性の構造を形式化すること。
• 相互情報量がなぜ負になることがあるかを、冗長性と協同性の混同によって説明すること。
• 神経科学、遺伝学、機械学習の分野に応用可能な、多次元依存関係を分析する一般枠組みを提供すること。

提案手法

• 冗長性を、ターゲット変数の各結果について、どのソースが提供する情報の最小相互情報量として定義し、結果の平均をとる。
• ソースの集合に対して冗長性ラティスを構築し、冗長情報の階層的構造を表現する。
• 冗長性ラティスに基づいて、各ソース集合の独自の寄与を部分情報アトムとして導出する。
• ラティス構造を用いて、総相互情報量を非負かつ解釈可能な成分に分解する。
• 非負性と解釈可能性を保証するため、最小冗長性測度を用いる。
• 相互情報量の負の値は、冗長的寄与と協同的寄与が混同されていることによるものであると示す。

実験結果

リサーチクエスチョン

• RQ1 なぜ相互情報量はときとして負になるのか、これはその解釈にどのような意味を持つのか？
• RQ2 多次元情報は、非負で解釈可能な冗長性と協同性の成分にどのように分解できるか？
• RQ3 多次元システムにおける冗長的寄与と協同的寄与の構造的関係は何か？
• RQ4 ラティスに基づく枠組みは、二変数間の相互作用を超えて、多次元情報の組織をどのように明確化できるか？
• RQ5 提案された冗長性測度は、解釈可能性と非負性の観点で、従来の定義に比べてどのように向上しているか？

主な発見

• 提案された冗長性測度 $ I_{\min} $ は常に非負であり、冗長性の直感的性質を満たす。
• 冗長性ラティスは、複数のソース間での情報共有の仕組みを包括的かつ構造的に表現する。
• アトムへの部分情報分解は包括的かつ非負であり、各アトムは冗長性と協同性の独自の組み合わせを表す。
• 相互情報量は部分情報アトムの符号付き和として示され、その負の値は冗長性と協同性の混同によるものであると説明される。
• 本手法により、3変数を超える複雑なシステムでさえも、多次元情報成分の明確な解釈が可能になる。
• ラティス構造により、寄与がゼロの項の効率的削除が可能であり、大規模システムへの実用的計算的利点が示唆される。