[論文レビュー] A measure of statistical complexity based on predictive information

Samer Abdallah, Mark D. Plumbley|arXiv (Cornell University)|Dec 8, 2010

Statistical Mechanics and Entropy被引用数 7

ひとこと要約

本稿では、予測情報に基づく情報理論的尺度である「結合情報」と呼ばれる統計的構造の測度を導入する。これは、確率変数の集合における高次相互依存性を定量化することを目的としている。有限の2値系において、最大の結合情報は $N-1$ ビットに達し、それは「パリティ」プロセス、すなわち偶数パリティまたは奇数パリティに基づく均一分布の構成によって達成される。これは、多情報のような測度が「ジャイアントビット」プロセスを好むのとは対照的である。

ABSTRACT

We introduce an information theoretic measure of statistical structure, called 'binding information', for sets of random variables, and compare it with several previously proposed measures including excess entropy, Bialek et al.'s predictive information, and the multi-information. We derive some of the properties of the binding information, particularly in relation to the multi-information, and show that, for finite sets of binary random variables, the processes which maximises binding information are the 'parity' processes. Finally we discuss some of the implications this has for the use of the binding information as a measure of complexity.

研究の動機と目的

• 2項間相互作用を超える高次相互依存性を捉える統計的構造の測度を開発すること。
• 過剰エントロピー や多情報といった既存の測度が、複雑で非局所的な依存性を定量化できないという限界を克服すること。
• 有限離散系において結合情報を最大にする確率過程のクラスを同定すること。
• 結合情報と多情報、予測情報との関係を理論的および実証的境界として確立すること。
• 結合情報が、グローバルで非局所的な依存性を持つプロセスを区別できる複雑性測度としての有効性を示すこと。

提案手法

• 結合情報 $B(X_{\text{A}})$ を予測情報レート（PIR）の拡張的対応として定義し、確率変数の集合全体にわたる予測情報の総量を測定する。
• 条件付き相互情報量の項を用いて結合情報を定式化する：$B(X_{\text{A}}) = \frac{1}{2} \big[ H(X_{\text{A}}) + \text{個々のエントロピーの和} - \text{条件付きエントロピーの和} \big]$。
• 理論的境界を導出する：$I(X_{\text{A}}) \triangleq \text{多情報} \rightarrow B(X_{\text{A}}) \triangleq \text{結合情報}$、有限系では $I(X_{\text{A}}) \times (N-1) \triangleq B(X_{\text{A}})$ および $B(X_{\text{A}}) \times (N-1) \triangleq I(X_{\text{A}})$ が成り立つ。
• 数値アルゴリズムを用いて $N = 37$ まで境界を検証し、結合情報と多情報の間の実証的不等式を確認する。
• $N$ 個の2値確率変数に対して、結合情報は「2を法とする」プロセス（パリティプロセス）によって最大 $N-1$ ビットに達することを証明する。ここで、偶数パリティまたは奇数パリティを持つすべての構成が均一に分布する。
• パリティプロセス（最大結合情報）の構造と、多情報を最大にする「ジャイアントビット」プロセス（最大多情報）を対比させ、依存性プロファイルの違いを示す。

実験結果

リサーチクエスチョン

• RQ1 有限の $N$ 個の離散確率変数に対して、結合情報の最大値は何か。また、どのプロセスがそれを達成するか。
• RQ2 結合情報は、多情報 や過剰エントロピーといった既存の測度とはどのように異なり、統計的構造を捉えるか。
• RQ3 結合情報は、低次の測度では見えない非局所的・高次依存性を持つプロセスを同定するために使用可能か。
• RQ4 有限系において、結合情報と多情報の関係は何か。また、タイトな解析的または実証的境界は存在するか。
• RQ5 結合情報を最大にするプロセスは、例えば低次の独立性を示すという特徴的な構造的または計算的性質を示すか。

主な発見

• $N$ 個の2値確率変数に対して、最大の結合情報は $N-1$ ビットであり、それは偶数パリティと奇数パリティの2つの「パリティ」プロセスによって一意に達成される。
• パリティプロセスの結合情報は $N-1$ ビットであるが、多情報はたったの1ビットにとどまるため、多情報を最大にするプロセスとは顕著な対比を示す。
• 多情報を最大にする「ジャイアントビット」プロセスは、結合情報ではたった1ビットにしか達しない。これは、結合情報が異なる構造的特徴を捉えていることを確認する。
• 実証的境界から、$I(X_{\text{A}}) \times (N-1) \triangleq B(X_{\text{A}})$ および $B(X_{\text{A}}) \times (N-1) \triangleq I(X_{\text{A}})$ が得られ、$N = 37$ まで数値的に確認された。
• 結合情報は変換不変性を示し、広義の成分を有することができる。これは、本質的に部分的拡張性である予測情報とは対照的である。
• パリティプロセスは「擬似独立」系の例である。$N$ 個未満の変数が観測される限り、独立に見えるが、グローバルな強い依存性を示す。したがって、結合情報の下での最大複雑性の候補として非常に適している。