[論文レビュー] Quantifying multivariate redundancy with maximum entropy decompositions of mutual information

Daniel Chicharro|arXiv (Cornell University)|Aug 13, 2017

Computational Drug Discovery Methods参考文献 65被引用数 3

ひとこと要約

本稿は、根付き木構造の制約を用いて相互情報量を非負で公理的な成分に分解することで、情報分解における多次元冗長性を定量化する最大エントロピーに基づくフレームワークを導入する。二変量の冗長性測度を多次元設定に一般化し、冗長性ラティスと整合的であり、一意の、冗長な、および協同的な情報寄与の明確な分離を可能にする。

ABSTRACT

Williams and Beer (2010) proposed a nonnegative mutual information decomposition, based on the construction of redundancy lattices, which allows separating the information that a set of variables contains about a target variable into nonnegative components interpretable as the unique information of some variables not provided by others as well as redundant and synergistic components. However, the definition of multivariate measures of redundancy that comply with nonnegativity and conform to certain axioms that capture conceptually desirable properties of redundancy has proven to be elusive. We here present a procedure to determine nonnegative multivariate redundancy measures, within the maximum entropy framework. In particular, we generalize existing bivariate maximum entropy measures of redundancy and unique information, defining measures of the redundant information that a group of variables has about a target, and of the unique redundant information that a group of variables has about a target that is not redundant with information from another group. The two key ingredients for this approach are: First, the identification of a type of constraints on entropy maximization that allows isolating components of redundancy and unique redundancy by mirroring them to synergy components. Second, the construction of rooted tree-based decompositions of the mutual information, which conform to the axioms of the redundancy lattice by the local implementation at each tree node of binary unfoldings of the information using hierarchically related maximum entropy constraints. Altogether, the proposed measures quantify the different multivariate redundancy contributions of a nonnegative mutual information decomposition consistent with the redundancy lattice.

研究の動機と目的

• 情報分解における非負で公理的な多次元冗長性測度を定義するという長年の課題に取り組むこと。
• 二変量の最大エントロピー冗長性測度を多次元系に拡張し、冗長性ラティスフレームワークと整合性を保つこと。
• 階層的に構造化された制約の下でのエントロピー最大化を通じて、冗長および一意の情報成分を分離する手法を開発すること。
• 結果として得られる分解が、たとえ決定論的依存関係が存在しても、冗長性の基本公理（例：恒等公理）を満たすように保証すること。
• 根付き木に基づく情報成分の展開を用いて、多次元系における相互情報量を一般かつスケーラブルに分解する手順を提供すること。

提案手法

• 特定の条件付き独立性および共情報量制約を満たす最大エントロピー分布を用いて、冗長性および一意の冗長性成分を分離する。
• 各ノードが階層的に関連する最大エントロピー制約を用いて二項展開を行う根付き木に基づく分解を採用する。
• 制約を多次元設定に拡張することで二変量冗長性測度を一般化し、非負性および公理的整合性を保証する。
• 帰納法を用いて、少なくとも1つの分布が特定のソース集合に対してゼロの情報を与える条件の下で、実際の分解と最大エントロピー分解が等価であることを証明する。
• 決定論的ターゲット・ソース依存関係に対処するため、確率的および決定論的成分を分離し、確率的側面に同じ測度を適用する。
• 共情報量制約（例：$C(X;i;j|k) = 0$）を用いて冗長性を定義するが、決定論的重複のため制約が実行不能になる場合の調整も行う。

実験結果

リサーチクエスチョン

• RQ1 冗長性ラティスの公理を満たし、非負性を満たすように、多次元冗長性をどのように定量化できるか？
• RQ2 最大エントロピー法を多次元系に一般化し、非負で解釈可能な成分に相互情報量を分解できるか？
• RQ3 エントロピー最大化におけるどのような制約が、冗長性および一意の冗長性成分の分離を可能にするとともに、協同的成分に対応させられるか？
• RQ4 ターゲットとソース変数の間の決定論的依存関係が、冗長性測度における共情報量制約の有効性にどのように影響するか？
• RQ5 再帰的かつ木構造に基づく情報成分の分解を用いて、提案フレームワークをどの程度まで多次元系に拡張できるか？

主な発見

• 提案された最大エントロピーフレームワークは、冗長性ラティス構造に適合する非負で公理的な多次元冗長性測度を効果的に生成した。
• 根付き木に基づく分解を通じて、階層的制約を適用することで、二変量冗長性測度を多次元設定に一般化した。
• 少なくとも1つの分布がソース集合の一部に対してゼロの情報を与えるという条件下で、実際の分解と最大エントロピー分解が等価であることを証明した。
• フレームワークは、ソースがターゲットに部分的または完全に含まれる場合でも、冗長性および一意の冗長性項が非負であり、恒等公理と整合的であることを保証した。
• 決定論的ターゲット・ソース依存関係を有する系では、冗長性の確率的成分に適用した場合にフレームワークは有効であり、決定論的成分は別個に処理された。
• 本手法は、多次元系における一意の、冗長な、および協同的な寄与に相互情報量を分解するためのスケーラブルで整合的かつ情報理論的根拠を持つ方法を提供した。