[論文レビュー] Communication Requirements for Generating Correlated Random Variables

Paul Cuff|ArXiv.org|May 1, 2008

Bayesian Modeling and Causal Inference参考文献 4被引用数 13

ひとこと要約

本稿は、離散的メモリレス通信路のシミュレーションにおける共通ランダムネスと記述レートのトレードオフを特徴づけ、共通ランダムネスが利用可能な場合には相互情報量が十分であるのに対し、そのようなランダムネスが存在しない場合にはワイナーの共通情報が必要であることを示している。最適なレート領域は情報理論的技法を用いて導出され、ワイナーとベンネット＝ショアの結果の間の長年の矛盾が解消される。

ABSTRACT

Two familiar notions of correlation are rediscovered as extreme operating points for simulating a discrete memoryless channel, in which a channel output is generated based only on a description of the channel input. Wyner's "common information" coincides with the minimum description rate needed. However, when common randomness independent of the input is available, the necessary description rate reduces to Shannon's mutual information. This work characterizes the optimal tradeoff between the amount of common randomness used and the required rate of description.

研究の動機と目的

• 通信路シミュレーションにおけるワイナーの共通情報とベンネット＝ショアの逆シャノン定理の間の顕著な矛盾を解消すること。
• 離散的メモリレス通信路をシミュレートするために必要な共通ランダムネスのレートと記述レートの最適なトレードオフを特徴づけること。
• 共通ランダムネスが利用可能な場合、通信路シミュレーションに相互情報量が十分であり、利用不可能な場合には共通情報が必要であることを確立すること。
• 特に制限付き通信を伴う繰り返しゲームに応用可能なフレームワークを提供すること。

提案手法

• エンコーダーがi.i.d.ソースを記述し、デコーダーがその記述と可能であれば共通ランダムネスを用いて相関出力を生成する通信路シミュレーション問題を定式化する。
• シミュレートされた出力分布と実際の通信路出力分布の統計的区別不能性を測る指標として、全 Variation 距離を用いる。
• 系列と補助確率変数の連合分布を分析し、マークフ・チェーンと典型系列を活用することで、最適なレート領域を導出する。
• X^nと同時に典型な補助系列(U^n)の確率的コードブックに基づく符号化方式を導入し、デコーダーがU^nに基づいてY^nを条件付きに生成可能にする。
• データ処理不等式と相互情報量の分解を適用して逆方向の境界を導出し、共通ランダムネスが存在しない場合、最小レートが連合分布の共通情報に等しいことを示す。
• 相関レベルが異なる戦略を統合するために時刻共有確率変数Wを導入し、ゲーム理論的状況下で与えられた報酬を達成するための最適レートの導出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共通ランダムネスが利用できない場合、離散的メモリレス通信路をシミュレートするために必要な最小記述レートは何か？
• RQ2 共通ランダムネスの利用が、通信路シミュレーションにおける必要な記述レートをどのように低減するか？
• RQ3 与えられた連合分布に対して、共通ランダムネスレートと記述レートのトレードオフを正確に特徴づけることができるか？
• RQ4 この通信路シミュレーションフレームワークは、制限付き通信を伴う繰り返しゲームにおけるゲーム理論的調整とどのように関係するか？
• RQ5 通信路シミュレーションにおいて、ワイナーの共通情報と相互情報量の運用的意味は何か？

主な発見

• 共通ランダムネスが利用できない場合、離散的メモリレス通信路をシミュレートするために必要な最小記述レートは、ワイナーの共通情報C(X;Y)に等しい。
• 共通ランダムネスがレートR2で利用可能な場合、必要な記述レートR1は相互情報量I(X;Y)にまで低下し、逆シャノン定理の領域に達する。
• 共通ランダムネスレートR2と記述レートR1の最適なトレードオフは、凸領域として特徴づけられ、相互情報量と共通情報が極端な点となる。
• 制限付きの安全通信を伴う繰り返しゲームの設定において、与えられた報酬を達成するために必要な最小通信レートは、その報酬を達成するすべての戦略における最小共通情報に等しい。
• 逆方向の証明では、任意の達成可能なレートがH(U) ≥ I(X^n, Y^n; U)を満たす必要があり、これは時間平均をとると共通情報を含む下界に導く。
• 達成可能戦略では、X^nと同時に典型な補助系列(U^n)の確率的コードブックを用い、デコーダーがU^nと記述に基づいてY^nを条件付きに生成可能にする。