[論文レビュー] A novel approach to multivariate redundancy and synergy.

Artemy Kolchinsky|arXiv (Cornell University)|Aug 23, 2019

Bayesian Modeling and Causal Inference参考文献 48被引用数 10

ひとこと要約

本論文は、任意の数のソースに対して、冗長、独自、協同的、集合的成分に分解するための新規フレームワークを提示する。集合論的類似、ブラックウェルの定理に基づく意思決定理論的原則、公理的導出を統合し、包含除外の制約を緩和することで、神経科学および情報理論分野におけるより広範な適用性を持つ情報分解のより柔軟で一般化可能な測度を可能にする。

ABSTRACT

Consider a situation in which a set of $n$ source random variables $X_{1},\dots,X_{n}$ have about some random variable $Y$. For example, in neuroscience $Y$ might represent the state of an external stimulus and $X_{1},\dots,X_{n}$ the activity of $n$ different brain regions. Recent work in theory has considered how to decompose the that the sources $X_{1},\dots,X_{n}$ provide about the target $Y$ into separate terms such as (1) the redundant information that is shared among all of sources, (2) the unique information that is provided only by a single source, (3) the synergistic information that is provided by all sources only when considered jointly, and (4) the information that is provided by at least one source. We propose a novel framework deriving such a decomposition that can be applied to any number of sources. Our measures are motivated in three distinct ways: via a formal analogy to intersection and union operators in set theory, via a decision-theoretic operationalization based on Blackwell's theorem, and via an axiomatic derivation. A key aspect of our approach is that we relax the assumption that measures of redundancy and union should be related by the inclusion-exclusion principle. We discuss relations to previous proposals as well as possible generalizations.

研究の動機と目的

• 複数のソースがターゲット変数に関して提供する情報を、冗長、独自、協同的、集合的成分に分解するための一般化されたフレームワークを開発すること。
• 集合論的類似、ブラックウェルの定理に基づく意思決定理論、公理的導出という3つの異なる動機を統合し、一貫性のある情報分解モデルを構築すること。
• 冗長性および結合測度における包含除外の原則への厳密な従属を緩和し、より柔軟で現実的である情報分解を可能にすること。
• 2つのソースや限定的なソースに限らない、任意の数のソース変数に適用可能な形式的かつスケーラブルな手法を提供すること。
• 既存の提案との関係を確立し、多変量情報理論における一般化のための道筋を示すこと。

提案手法

• フレームワークは、集合論的集合の共通部分集合および和集合操作への形式的類似を用いて、複数のソースからの情報の冗長性および結合を定義する。
• ブラックウェルの定理を用いて情報測度を操作的定式化し、最小限の仮定のもとで冗長性および協同的性が意思決定理論的最適性に根ざしていることを保証する。
• 公理的導出により、基本的な情報理論的原則に従った測度の整合性と一貫性を保証する。
• 冗長性および結合が包含除外の原則を満たす必要があるという要件を明示的に緩和し、より広範なモデル化の柔軟性を可能にする。
• 冗長性をすべてのソースに共通する最小限の情報として定義し、協同的性をすべてのソースが結合された場合にのみ入手可能な情報を定義する。
• 多変量相互情報量の項を一貫した集約によって構築することで、任意の数のソースに一般化する。

実験結果

リサーチクエスチョン

• RQ1 標準的な2ソースフレームワークを超えて、任意の数のソースに一貫して情報分解を拡張する方法は何か？
• RQ2 包含除外の原則を強制しない条件下で、集合演算への類似を用いて冗長性および協同的性を形式的に定義する方法は何か？
• RQ3 ブラックウェルの定理に基づく意思決定理論的原則を、行動的に意味を持つ方法で情報分解を操作的定式化するためにどのように利用できるか？
• RQ4 提案された分解フレームワークにおける整合性と一意性を保証する公理的制約は何か？
• RQ5 提案された測度は、多変量情報理論における既存のアプローチとどのように比較され、一般化されるか？

主な発見

• 提案されたフレームワークは、過去の2ソースや制限付きモデルの限界を克服し、任意の数のソースへの情報分解を成功裏に一般化した。
• 包含除外の制約を緩和することで、複雑なシステムにおける冗長的および協同的情報のより現実的なモデル化が可能になった。
• 集合論的、意思決定理論的、公理的アプローチの統合により、情報成分を定義する強固で一貫性のある基盤が得られた。
• 数学的に整合的で解釈可能な方法で、独自、冗長、協同的、集合的情報項を定義可能である。
• 従来の提案との正式な関係を確立し、それらのスコープと柔軟性を拡張していることが示された。
• 多変量システムにおける高次元および非二値情報構造への一般化のための道筋を提供している。