[論文レビュー] The Partial Entropy Decomposition: Decomposing multivariate entropy and mutual information via pointwise common surprisal

Robin A. A. Ince|arXiv (Cornell University)|Feb 6, 2017

Computational Drug Discovery Methods被引用数 15

ひとこと要約

本稿では、ポイントワイズ共通驚きを用いて、エントロピーの重複、独自、協同的成分を定量化する、多変量エントロピーに部分的情報分解（PID）形式主義を適用する新規フレームワーク、部分エントロピー分解（PED）を導入する。主な貢献は、相互情報量が本質的に協同的効果を含むことの解明であり、PIDの一貫性に関する長年の問題を解消し、機構的重複とソース重複を別々に定量化することを可能にする。

ABSTRACT

Obtaining meaningful quantitative descriptions of the statistical dependence within multivariate systems is a difficult open problem. Recently, the Partial Information Decomposition (PID) was proposed to decompose mutual information (MI) about a target variable into components which are redundant, unique and synergistic within different subsets of predictor variables. Here, we propose to apply the elegant formalism of the PID to multivariate entropy, resulting in a Partial Entropy Decomposition (PED). We implement the PED with an entropy redundancy measure based on pointwise common surprisal; a natural definition which is closely related to the definition of MI. We show how this approach can reveal the dyadic vs triadic generative structure of multivariate systems that are indistinguishable with classical Shannon measures. The entropy perspective also shows that misinformation is synergistic entropy and hence that MI itself includes both redundant and synergistic effects. We show the relationships between the PED and MI in two predictors, and derive two alternative information decompositions which we illustrate on several example systems. This reveals that in entropy terms, univariate predictor MI is not a proper subset of the joint MI, and we suggest this previously unrecognised fact explains in part why obtaining a consistent PID has proven difficult. The PED also allows separate quantification of mechanistic redundancy (related to the function of the system) versus source redundancy (arising from dependencies between inputs); an important distinction which no existing methods can address. The new perspective provided by the PED helps to clarify some of the difficulties encountered with the PID approach and the resulting decompositions provide useful tools for practical data analysis across a wide range of application areas.

研究の動機と目的

• 古典的情報理論が、同一のシャノン測度を持つが異なる生成メカニズムを持つ系において、意味のある多変量依存構造を捉えることができないという限界を解決すること。
• PIDフレームワーク内での一貫性のある重複測度の定義に長年の困難が伴う理由を解消するため、相互情報量からエントロピーへ視点を移すこと。
• エントロピーが重複、独自、協同的成分に分解されることにより、情報構造の解釈が明確になるという、新たな視点を提供すること。
• 機構的重複（機能的）とソース重複（入力依存性）を区別すること、これは従来の手法では測定可能でなかった区別である。
• 相互情報量に重複と協同的成分が両方含まれており、一貫したPID分解が困難であった理由を説明すること。

提案手法

• ポイントワイズ共通驚きをエントロピーの重複測度として用い、PIDのラティス構造を多変量エントロピーへ拡張することで、部分エントロピー分解（PED）を提唱する。
• ポイントワイズ共通驚きを用いて、変数間の共有不確実性として重複エントロピーを定義し、これは相互情報量の定義と密接に関連している。
• PEDフレームワークから二つの代替情報分解を導出する：一つは純粋な相互情報量に基づくもの、もう一つは単義的（monosemous）アプローチを用いるもの。
• エントロピーの重複測度を用いて、誤情報として協同的エントロピーを定量化し、負の局所的情報値がこの協同的成分に対応することを結びつける。
• 古典的測度が失敗する例の系にPEDを適用し、二重予測子構造と三重予測子構造を区別できることを示す。
• PEDに基づく分解が、特に $I_{\text{ccs}}$ 測度を用いる場合、既存のPIDアプローチと一貫しており、$P_{\text{ind}}$ による非対称性のための差異も明らかにしている。

実験結果

リサーチクエスチョン

• RQ1 PID形式主義を相互情報量から多変量エントロピーへ意味的に拡張することは可能か？ これにより、多変量系のより深い構造的洞察が得られるか？
• RQ2 一貫したPIDが得られなかった理由は何か？ エントロピーの視点は、その背後にある原因を明確にするか？
• RQ3 多変量系において、機構的重複（機能的）とソース重複（入力依存性）をどのように区別できるか？
• RQ4 協同的エントロピーは相互情報量において果たす役割は何か？ また、誤情報や負の局所的情報値とはどのように関係するか？
• RQ5 PEDフレームワークは、重複測度の曖昧さを解消し、情報分解のより一貫した基盤を提供できるか？

主な発見

• PEDにより、相互情報量が本質的に重複と協同的成分を両方含むことが明らかになり、一貫したPID分解が困難であった理由が説明された。
• 協同的エントロピーは誤情報として定量化され、負の局所的情報値が直接この協同的成分に対応する。
• PEDフレームワークにより、機能的に関連する機構的重複と入力依存性に起因するソース重複を別々に定量化でき、これは従来の手法では達成できなかった。
• 二予測子の場合、重複エントロピーは常に協同的エントロピー以上であり、両者がゼロのときのみ等しくなる。
• PEDに基づく分解は、$I_{\text{ccs}}$ 測度を用いる場合、既存のPIDアプローチと一貫しており、$P_{\text{ind}}$ による非対称性のための差異も生じる。
• エントロピーを一次的量として出発点とすることで、重複と協同的成分に関する概念的曖昧さを解消し、情報分解のより明確な基盤を提供する。