[論文レビュー] The Likelihood Encoder for Source Coding

Paul Cuff, Eva C. Song|arXiv (Cornell University)|Jul 31, 2013

Wireless Communication Security Techniques参考文献 6被引用数 6

ひとこと要約

本稿では、指定されたチャネルモデル下でのコートワードの尤度に基づく確率的符号化ルールを用いる新しいソース符号化手法として、尤度符号化器を導入する。ソフトカバーングレムマと組み合わせることで、情報理論的歪み-レート理論における達成可能性証明を簡素化し、誘導される同時分布が全 Variation 距離において目的分布に近づくことを示す。これにより、解析が容易なタイトな歪み-レート境界が得られる。

ABSTRACT

The likelihood encoder with a random codebook is demonstrated as an effective tool for source coding. Coupled with a soft covering lemma (associated with channel resolvability), likelihood encoders yield simple achievability proofs for known results, such as rate-distortion theory. They also produce a tractable analysis for secure rate-distortion theory and strong coordination.

研究の動機と目的

• 従来の共通典型性に基づく符号化器に代えて、尤度に基づく確率的符号化器を用いることで、ソース符号化における達成可能性証明を簡素化すること。
• 尤度符号化器が、技術的負担を最小限に抑えつつ、既知の歪み-レート理論の結果を証明する有効性を示すこと。
• 精密な分布制御を通じて、尤度符号化器の適用範囲をセキュアな歪み-レートおよび強い協調問題へ拡張すること。
• ソフトカバーングレムマによる確率的カップリングを用いて、解析が容易なクリーンなソース符号化フレームワークを確立すること。

提案手法

• 尤度符号化器は、ソース系列 $ x^n $ が与えられたもとで、$ \prod_{t=1}^n P_{X|Y}(x_t|y_t(m)) $ の尤度に基づき、確率的に符号語インデックス $ m $ を選択する。
• サイズ $ 2^{nR} $ の確率的 i.i.d. コードブックを、周辺分布 $ \overline{P}_Y $ に従って生成し、符号語は $ \overline{P}_Y $ から独立に抽出される。
• ソフトカバーングレムマにより、$ R > I(X;Y) $ のとき、誘導される出力分布 $ P_{X^n} $ が全 Variation 距離で i.i.d. 分布 $ \prod_{t=1}^n \overline{P}_X $ に収束することが保証される。
• 符号化器-復号器ペアによって誘導される実際の同時分布 $ P_{X^n,Y^n} $ を、コードブック上に一様に分布し、チャネル $ \overline{P}_{X|Y} $ を通る理想化された分布 $ Q_{X^n,Y^n} $ と比較する。
• コードブックの期待値としての全 Variation 収束 $ \mathbb{E}_{\mathcal{C}}\|P_{X^n,Y^n} - Q_{X^n,Y^n}\|_{TV} \to 0 $ が確立され、$ \|P - Q\|_{TV} $ の境界を用いた歪み解析が可能になる。
• 歪みは不等式 $ \mathbb{E}_P d(X^n,Y^n) \leq \mathbb{E}_Q d(X^n,Y^n) + 2d_{\text{max}} \|P - Q\|_{TV} $ を用いてバインドされ、$ n $ が十分に大きいとき $ \mathbb{E}_P d(X^n,Y^n) < D $ が保証される。

実験結果

リサーチクエスチョン

• RQ1 尤度符号化器は、共通典型性符号化と比較して、歪み-レート理論における達成可能性証明をより簡素かつ直感的に可能にするか？
• RQ2 ソフトカバーングレムマは、誘導される分布が全 Variation 距離で目的分布に収束するのをどのように支援するか？
• RQ3 尤度符号化器の確率的性質は、セキュアおよび協調的ソース符号化設定におけるよりタイトな解析をどのように可能にするか？
• RQ4 レート $ R $ と歪み $ D $ にどのような条件を課すと、尤度符号化器下での期待歪みが目標値以下に保たれるか？

主な発見

• 尤度符号化器は、$ n \to \infty $ のとき、誘導される同時分布 $ P_{X^n,Y^n} $ が理想化された分布 $ Q_{X^n,Y^n} $ に全 Variation 距離で収束することを保証することで、歪み-レート理論における明快な達成可能性証明を可能にする。
• $ R > I(X;Y) $ のとき、ソフトカバーングレムマにより $ \mathbb{E}_{\mathcal{C}}\|P_{X^n} - \prod_{t=1}^n \overline{P}_X\|_{TV} \to 0 $ が保証され、出力分布が漸近的に i.i.d. になることが保証される。
• コードブックの期待値としての $ P_{X^n,Y^n} $ と $ Q_{X^n,Y^n} $ 間の全 Variation 距離は消えるため、$ \|P - Q\|_{TV} $ 項による期待歪みのバインドが可能になる。
• 十分に大きな $ n $ に対して、尤度符号化器下での期待歪みは $ \mathbb{E}_P d(X^n,Y^n) < D $ を満たす。これは $ R > I(X;Y) $ かつ $ \mathbb{E}[d(X,Y)] < D $ のとき成立する。
• 確率的コードブック上の構成的存在証明により、最適な歪み-レート関数 $ R = \min_{P_{Y|X}: \mathbb{E}[d(X,Y)] \leq D} I(X;Y) $ が達成される。