[論文レビュー] On shared and multiple information

Cesare Magri|arXiv (Cornell University)|Jan 1, 2021

Computability, Logic, AI Algorithms参考文献 16被引用数 2

ひとこと要約

本稿は、情報理論における長年の課題である非負の部分情報分解（PID）、共有情報の測定、複数情報への拡張を解決するため、シャノン相互情報量の記述子依存型分解を導入する。目的変数（記述子）の決定的関数による相互情報量の展開を通じて、非負のPI関数と、ウィリアムズとビアのPIDフレームワークとチュウとヤンの情報図フレームワークを調和させる、新たな共有情報の測定法を導出する。これにより、両フレームワークと両立する一貫性があり非負な複数情報の測定が可能になる。

ABSTRACT

We address three outstanding problems in information theory. Problem one is the definition of a non-negative decomposition of the information conveyed by two or more sources about a target variable into the specific contribution of each possible combination of the sources. Problem two is the definition of a measure of information shared by several sources about the target variable. Problem three is the definition of a measure of multiple mutual information, that is, the extension of mutual information to more than two variables.

研究の動機と目的

• 2つ以上のソースに対して非負の部分情報分解（PID）が存在しないという問題を解決する。
• 複数のソースにわたる一貫性があり非負な共有情報の測定法を定義する。
• ウィリアムズとビアの部分情報図（PID）フレームワークとチュウとヤンの情報図（ID）フレームワークを調和させる。
• 両セット理論的フレームワークと両立するように、複数変数への相互情報量の拡張を実現する。
• 主要な公理的性質を満たす、記述子に依存しない共有情報の測定法を提供する。

提案手法

• 目的変数 Y に対する決定的関数 f: Y → Y₁, Y₂, ... を用いて、記述子に基づく相互情報量の展開を導入する。これらは目的変数を特徴に分割する。
• I(X;Y) の分解を、I(X;Y₁) と条件付き相互情報量 I(X;Y|y₁) を含む階層的展開として導出する。
• すべての可能な記述子について最小化される条件付き相互情報量の和の最小値として、記述子依存型の共有情報測定法を定義する。
• すべての可能な記述子について記述子依存型測定法を最小化することで、記述子に依存しない共有情報測定法を提案する。
• 最小化された共有情報に基づき、各ソースの部分集合を部分情報図の領域に割り当てる非負のPI関数を構築する。
• 新しい複数情報測定法が情報図における交差に一致することを示し、ウィリアムズとビアのPIDとチュウとヤンのIDの間のリンクを確立する。

実験結果

リサーチクエスチョン

• RQ1 分解の基盤を再定義することで、2つ以上のソースに対して非負の部分情報分解を達成できるか？
• RQ2 非負であり、ウィリアムズとビアのPIDフレームワークの公理と両立する共有情報測定法を定義できるか？
• RQ3 部分情報図（PID）をチュウとヤンの情報図（ID）と一貫して結びつける方法は何か？
• RQ4 主要な共有情報の性質を満たす、記述子に依存しない共有情報測定法は存在するか？
• RQ5 PIDおよびIDフレームワークの両者と両立する非負で一貫性のある複数情報の測定法を定義できるか？

主な発見

• 提案された記述子依存型の共有情報測定法により、非負のPI関数が保証され、従来のPID手法における負の値の問題が解決される。
• 記述子に依存しない共有情報測定法は、強調された10の公理的性質をすべて満たしており、これまではそのような測定法が存在しなかった。
• 新しい複数情報測定法は、マイケルの相互情報量とは異なり、非負であることが保証され、セット理論的直観（複数情報が情報図における交差として表現されること）と整合する。
• 本手法により、ウィリアムズとビアのPIDフレームワークとチュウとヤンのIDフレームワークが、記述子に基づく分解を通じて一貫して調和することが示された。
• 著者らは、ANDやUNQのような標準例と両立する一方で、左単調性を満たす共有情報測定法は存在しないことを証明し、分野における従来の仮定に挑戦した。
• フレームワークは、特定のソース集合が伝える情報が記述子に依存するが、共有情報自体は記述子に依存しないことを示しており、これら2つの概念の原理的分離を可能にする。