[論文レビュー] The Common Information of N Dependent Random Variables

Wei Liu, Ge Xu+1 more|arXiv (Cornell University)|Oct 18, 2010

Wireless Communication Security Techniques参考文献 10被引用数 8

ひとこと要約

この論文は、2つの従属確率変数に対するワイナーの共通情報の定義をN個の従属確率変数へ一般化し、2つの符号化定理を通じてその運用的意味を確立する。具体的には、N個の復元器を備えた一般化されたグレイ＝ワイナー情報源ネットワークと、共通ランダムネス生成モデルを用いる。主な貢献は、共通情報が、連合情報源と共通の補助変数間の最小相互情報量として定義される際、2変数の場合と同一の運用的解釈を保つことを証明したことである。

ABSTRACT

This paper generalizes Wyner's definition of common information of a pair of random variables to that of $N$ random variables. We prove coding theorems that show the same operational meanings for the common information of two random variables generalize to that of $N$ random variables. As a byproduct of our proof, we show that the Gray-Wyner source coding network can be generalized to $N$ source squences with $N$ decoders. We also establish a monotone property of Wyner's common information which is in contrast to other notions of the common information, specifically Shannon's mutual information and Gács and Körner's common randomness. Examples about the computation of Wyner's common information of $N$ random variables are also given.

研究の動機と目的

• 2つの従属確率変数に対するワイナーの共通情報の定義を、N個の従属確率変数へ拡張すること。
• 符号化定理を用いて、一般化された共通情報の運用的意味を確立すること。
• N個の確率変数の共通情報が、変数の数に関して単調であること、他の概念（相互情報量やGács-Körnerの共通ランダムネス）とは対照的に、を証明すること。
• グレイ＝ワイナー情報符号化ネットワークをN個の情報源とN個の復元器へ一般化すること。
• 計算可能な例を提示し、一般化された共通情報の境界を確立すること。

提案手法

• N個の確率変数の共通情報を $ C(X_1, \bar{X}_2, \bar{X}_N) = \min_{W} I(X_1X_2\cdots X_N; W) $ として定義し、$ X_i \rightarrow W \rightarrow X_j $ がすべての $ i \neq j $ に対してマークフ・チェインを形成するようにする。
• 一般化されたグレイ＝ワイナーネットワークを用いて達成可能性を証明し、共通メッセージ $ W_0 $ と個別メッセージ $ W_1, \dots, W_N $ を導入。$ R_0 \geq I(X_1\cdots X_N; W) $ および $ R_i \geq H(X_i|W) $ を満たすレートが達成可能であることを示す。
• ファノの不等式とマークフ・チェインの制約を用いて逆方向の境界を確立。任意の達成可能なレートタプルは、各 $ i $ に対して $ R_0 \geq I(X_1\cdots X_N; W) $ および $ R_i \geq H(X_i|W) $ を満たす必要があることを示す。
• 時間共有と基数の制限技術を用いて、補助変数 $ W $ が $ \max_{i} |\mathcal{X}_i| + 1 $ 以下の有限アルファベットに制限できることを示す。
• 2つの運用的モデルの等価性を証明する：(1) N個の復元器を備えた情報源符号化と、(2) 共通入力 $ W $ を用いた共通ランダムネス生成。両者とも同じレート $ C(X_1, \dots, X_N) $ を達成することを示す。
• データ処理不等式やエントロピー・相互情報量の連鎖則を含む、標準的な情報理論的道具を用いる。

実験結果

リサーチクエスチョン

• RQ1 ワイナーの2変数共通情報は、N個の従属確率変数へどのように一般化できるか？
• RQ2 ワイナーの共通情報の2つの運用的解釈—情報源符号化と共通ランダムネス生成—は、N変数の場合へも拡張可能か？
• RQ3 N個の確率変数の共通情報は、変数の数に関して単調性を示すか？また、相互情報量やGács-Körnerの共通ランダムネスとはどのように対照的か？
• RQ4 グレイ＝ワイナーネットワークは、N個の情報源とN個の復元器をサポートするように一般化可能か？また、達成可能なレート領域は何か？
• RQ5 N個の確率変数の共通情報を計算する明示的な例は何か？また、既知の事例と比較するとどうなるか？

主な発見

• 一般化された共通情報 $ C(X_1, \dots, X_N) $ は、$ \min_W I(X_1\cdots X_N; W) $ として定義され、$ W $ が $ X_i $ 間の条件付き独立性を誘導する。
• N変数の共通情報は単調である：周辺分布が固定されている限り、変数の数が増加しても共通情報は減少しない。
• 共通情報の運用的意味は保たれる：一般化されたグレイ＝ワイナーネットワークにおいて、N個の復元器が正確に再構成するための最小レート $ R_0 $ は $ C(X_1, \dots, X_N) $ に等しい。
• 共通入力 $ W $ を用いた共通ランダムネス生成モデルも、同じ最小レート $ R_0 = C(X_1, \dots, X_N) $ を達成し、運用的同等性を証明する。
• $ X_i = (X_i', V) $ かつ $ X_j = (X_j', V) $ で、$ X_i', X_j', V $ が互いに独立である場合、$ C(X_1, \dots, X_N) = H(V) $ となる。これは相互情報量およびGács-Körnerの共通ランダムネスと一致する。
• 逆方向の証明により、任意の達成可能なレートタプルは $ R_0 \geq I(X_1\cdots X_N; W) $ および $ R_i \geq H(X_i|W) $ を満たす必要があることが示され、境界のタイトさが確認された。