[論文レビュー] Synergy, Redundancy and Common Information

Pradeep Banerjee, Virgil Griffith|arXiv (Cornell University)|Sep 12, 2015

Statistical Mechanics and Entropy参考文献 67被引用数 7

ひとこと要約

本稿は、2つの予測子確率変数と目的変数の間の相互情報量を、重複する、固有の、協同的な成分に分解することを調査する。著者は、予測子が独立である場合に、GácsとKörner もしくは Wyner が定義する共通情報に基づく重複度の測度が非負の部分情報分解をもたらさないという不可能性の結果を証明する。これは、このような重複度の測度が単一の変数に関する最適化によって導出されえないことを示唆している。

ABSTRACT

We consider the problem of decomposing the total mutual information conveyed by a pair of predictor random variables about a target random variable into redundant, unique and synergistic contributions. We focus on the relationship between "redundant information" and the more familiar information-theoretic notions of "common information". Our main contribution is an impossibility result. We show that for independent predictor random variables, any common information based measure of redundancy cannot induce a nonnegative decomposition of the total mutual information. Interestingly, this entails that any reasonable measure of redundant information cannot be derived by optimization over a single random variable.

研究の動機と目的

• 共通情報に基づく重複度の測度が、多変量情報理論における総相互情報量の非負の分解を可能にするかを調査すること。
• 重複情報と情報理論における古典的共通情報の概念との関係を明確にすること。
• 予測子と目的変数を含む非対称情報分解の文脈において、既存の共通情報フレームワーク（Gács-Körner、Wyner）の限界を検討すること。
• 独立な予測子に対して、共通情報に基づく任意の重複度の測度が、I(X₁X₂;Y) の非負の分解を生じさせないことを示すこと。
• このような重複度の測度が、単一の確率変数に関する最適化によって導出されえないことを確立すること。

提案手法

• ゲーム理論およびチーム意思決定理論からの概念を拡張し、σ-代数と標本空間の分割を用いて共通情報およびプライベート情報の構造を形式化する。
• 2つの新しい共通情報の測度と、十分統計量および最小十分統計量に基づく双対的なプライベート情報の測度を導入する。
• 結合分布の構造を分析し、共通情報およびプライベート情報の成分を分離可能な条件を同定する。
• Gács-Körner の共通情報と Wyner の共通情報の両方を、重複度の評価の基礎的測度として用いる。
• 情報理論的不等式とマークフ・チェーン条件（例：X–Y–Q）を用いて、重複度およびプライベート情報成分の境界を導出する。
• 情報分解が最大効率を達成する状況を特徴付けるために、飽和可能な分布の概念を適用する。

実験結果

リサーチクエスチョン

• RQ1 Gács-Körner もしくは Wyner の共通情報に基づく重複度の測度を用いて、I(X₁X₂;Y) の非負の部分情報分解を達成できるか。
• RQ2 多変量情報理論における重複情報と古典的共通情報の概念との関係は何か。
• RQ3 独立な予測子の文脈において、単一の確率変数に関する最適化によって意味のある重複度の測度を導出することは可能か。
• RQ4 どのような条件下で、結合分布における共通情報およびプライベート情報の構造を一意に特定できるか。
• RQ5 なぜ共通情報に基づく重複度の測度は、予測子が独立である場合に非負の分解をサポートできないのか。

主な発見

• 独立な予測子確率変数に対して、Gács-Körner もしくは Wyner の共通情報に基づく任意の重複度の測度は、I(X₁X₂;Y) の非負の分解を誘発できない。
• この不可能性は、独立な予測子において非ゼロの重複度が生じるためには、予測子と目的変数の間の機械的依存関係が必要であり、共通情報の測度ではそのような非負の表現が不可能であることに起因する。
• 本稿では、情報格子の構造的制約により、共通情報に基づく任意の重複度の測度が単一の変数に関する最適化によって導出されえないことを証明する。
• 結合分布が飽和可能であるとき、プライベート情報の測度は、片方の変数に対するもう片方の変数の最小十分統計量を回復する。これは、提案されたフレームワークの理論的整合性を裏付ける。
• 最小十分統計量 X∧Y（Gács-Körner の共通部分）に基づく共通情報の測度は、分布が飽和可能である場合に限り境界に等号を達成する。これは、重要な構造的条件を示している。
• 目的変数 Y が片方の予測子を条件付きで与えたときもう片方の予測子に条件付き独立である場合でも、この不可能性の結果は成立する。これは、共通情報の測度と非負の分解の間の根本的な不適合性を強化する。