[論文レビュー] Wyner's Common Information: Generalizations and A New Lossy Source Coding Interpretation

Ge Xu, Wei Liu+1 more|arXiv (Cornell University)|Jan 10, 2013

Wireless Communication Security Techniques参考文献 20被引用数 18

ひとこと要約

この論文は、任意のアルファベットを持つN個の従属する確率変数へとワイナーの共通情報（common information）を一般化し、グレイ＝ワイナー・ネットワークを通じた歪みのあるソース符号化において新たな運用的解釈を確立する。合計レートが結合レート・歪み関数に限りなく近づくとき、歪み制約が特定の領域内にある限り、ワイナーの共通情報が最小共通メッセージレートに等しくなることを証明する。これは共通情報と歪みのある符号化の間の根本的な関係を示す。

ABSTRACT

Wyner's common information was originally defined for a pair of dependent discrete random variables. Its significance is largely reflected in, hence also confined to, several existing interpretations in various source coding problems. This paper attempts to both generalize its definition and to expand its practical significance by providing a new operational interpretation. The generalization is two-folded: the number of dependent variables can be arbitrary, so are the alphabet of those random variables. New properties are determined for the generalized Wyner's common information of N dependent variables. More importantly, a lossy source coding interpretation of Wyner's common information is developed using the Gray-Wyner network. In particular, it is established that the common information equals to the smallest common message rate when the total rate is arbitrarily close to the rate distortion function with joint decoding. A surprising observation is that such equality holds independent of the values of distortion constraints as long as the distortions are within some distortion region. Examples about the computation of common information are given, including that of a pair of dependent Gaussian random variables.

研究の動機と目的

• 離散確率変数のペアに制限されたワイナーの共通情報を、任意のアルファベットを持つN個の従属する確率変数へと拡張すること。
• グレイ＝ワイナー・ネットワークを用いた歪みのあるソース符号化の文脈において、ワイナーの共通情報の新たな運用的解釈を確立すること。
• 合計レートが結合レート・歪み関数に限りなく近づくとき、共通情報が最小達成可能な共通メッセージレートに等しくなることを示すこと。
• この最小共通レートが、定義された歪み領域内にある限り、歪み制約の具体的な値に依存せずに一定であることを示すこと。

提案手法

• マークフ・チェーン条件と同等の条件付き独立構造を用いて、ワイナーの共通情報をN個の従属する確率変数へ一般化する。
• N個の確率変数と補助変数Wとの間の相互情報量の下限として、一般化された共通情報を定義する。ここでWは、N個の確率変数をWの下で条件付き独立にする。
• グレイ＝ワイナー・ソース符号化ネットワークを用いて、共通メッセージに加えて個別メッセージを送信する文脈で、歪みのあるソース符号化の解釈を得る。
• 共同デコーディングのもとで、合計レートが結合レート・歪み関数に限りなく近づくとき、共通情報が最小共通メッセージレートに等しいことを証明する。
• 提案された特徴付けが、特に[17]における先行研究と同等であることを確立する。
• 対称性およびMMSEの性質を活用して、2次元ガウス確率変数の共通情報の閉形式表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 複数のソースを伴う歪みのあるソース符号化におけるワイナーの共通情報の運用的意味は何か？
• RQ2 ワイナーの共通情報は、任意のアルファベットを持つN個の従属する確率変数へ一般化可能か？
• RQ3 合計レートが結合レート・歪み関数に限りなく近づくとき、グレイ＝ワイナー・ネットワークにおける最小共通メッセージレートはワイナーの共通情報に等しいか？
• RQ4 歪み制約が特定の歪み領域内にある限り、最小共通メッセージレートは歪み制約の具体的な値に依存しないか？
• RQ5 相関係数ρをもつ2次元ガウス確率変数の共通情報の閉形式表現は何か？

主な発見

• N個の従属する確率変数に対する一般化されたワイナーの共通情報は、条件付き独立構造を介して定義され、単調性やデータ処理不等式といった重要な性質を満たす。
• グレイ＝ワイナー・ネットワークにおいて、合計レートが結合レート・歪み関数に限りなく近づくとき、ワイナーの共通情報は最小共通メッセージレートに等しくなる。歪み制約の具体的な値にかかわらず、歪み領域内にあれば成立する。
• 相関係数ρをもつ2次元ガウス確率変数の共通情報は、正確に$ \frac{1}{2}\log\frac{1+\rho}{1-\rho} $ に等しくなる。これはMMSEとレート・歪み理論を活用して導出された。
• 共通情報は変数の線形スケーリングに対して不変であり、ガウス確率変数のペアでは相関係数ρにのみ依存する。
• 歪みペア(D₁, D₂)がD₁ + D₂ ≤ 2(1 − ρ)を満たす範囲で、最小共通メッセージレートが一定であることが示され、歪みの変動に対して強い耐性を示す。
• 歪みのあるソース符号化を通じた共通情報の提案された特徴付けは、[17]における特徴付けと同等であり、新たな運用的解釈の妥当性が裏付けられる。