[論文レビュー] Asymptotic Equipartition Property of Output when Rate is above Capacity

Xiugang Wu, Liang‐Liang Xie|ArXiv.org|Aug 31, 2009

Cooperative Communication and Network Coding参考文献 5被引用数 7

ひとこと要約

この論文は、伝送レートがチャネル容量を超える場合、離散的かつ記憶のないチャネルの出力系列が、入力分布 $ p_0(x) $ に従って生成された i.i.d. ランダムなコードブックに対して典型的である限り、特定のコードブックに依存せず、$ p_0(y) = \sum_x p_0(x)p(y|x) $ に対する系列の典型集合に関して漸近的等分配性（AEP）を示すことを確立している。この等分配性は、レート超過に起因する入力系列の混合によって生じ、リレーオブザーバーが特定のコードブックに依存しない統計的独立性を示し、これは圧縮・フォワーディング方式の最適性に影響を与える。

ABSTRACT

The output distribution, when rate is above capacity, is investigated. It is shown that there is an asymptotic equipartition property (AEP) of the typical output sequences, independently of the specific codebook used, as long as the codebook is typical according to the standard random codebook generation. This equipartition of the typical output sequences is caused by the mixup of input sequences when there are too many of them, namely, when the rate is above capacity. This discovery sheds some light on the optimal design of the compress-and-forward relay schemes.

研究の動機と目的

• 伝送レートがチャネル容量を超える場合のチャネル出力系列の統計的挙動を調査すること。
• 圧縮・フォワーディング方式におけるリレー観測の分布が、使用された特定のコードブックに依存するかどうかを特定すること。
• ソースの特定のコードブックの知識が、リレーでの観測の圧縮に何らかの利点をもたらすかどうかを評価すること。
• 出力分布がコードブックに依存しなくなる条件を確立し、簡素化された圧縮戦略を可能にすること。

提案手法

• 離散的かつ記憶のないチャネルにおける系列の強さ典型性および条件付典型性の定義を使用する。
• レート $ R > C $ の下で、i.i.d. コードブック生成の下での出力系列の漸近的挙動を、大偏差境界および典型集合の性質を用いて分析する。
• 対数和不等式およびエントロピー集中の議論を用いて、出力系列のエントロピーをバウンドする。
• 高レート伝送下での2つの圧縮シナリオを比較する：1つは特定のコードブックを用い、もう1つは無視するもの。
• レート超過時 $ R > C $ において、リレー観測の正確再構成に必要な最小圧縮レートが、コードブックを用いるか無視するかに関わらず同一であることを証明する。これは出力のAEPに起因する。
• 出力典型集合が、特定のコードブックではなく、入力分布 $ p_0(x) $ とチャネル遷移確率 $ p(y|x) $ のみに依存することを示す。

実験結果

リサーチクエスチョン

• RQ1 伝送レートがチャネル容量を超える場合、チャネル出力系列は $ p_0(y) = \sum_x p_0(x)p(y|x) $ に対する漸近的等分配性（AEP）を示すか？
• RQ2 レートが容量を超える場合、リレーの観測分布はソースで使用された特定のコードブックに依存するか？
• RQ3 ソースの特定のコードブックの知識が、圧縮・フォワーディング方式におけるリレーでの圧縮レートを改善できるか？
• RQ4 ソースレートが容量を超える場合、リレーの観測を正確に圧縮するために必要な最小レートは何か？
• RQ5 ランダムな i.i.d. コードブック生成の下で、コードブック構造に依存しない典型出力系列集合が成立するか？

主な発見

• レートが容量を超える場合、離散的かつ記憶のないチャネルの出力系列は、$ p_0(y) = \sum_x p_0(x)p(y|x) $ に対する系列の典型集合に関して漸近的等分配性（AEP）を満たす。これは使用された特定のコードブックに依存しない。
• コードブックが $ p_0(x) $ に従って i.i.d. に生成された典型集合に属する限り、出力典型集合はコードブックに依存しない。これは高レートにおける入力系列の混合に起因する。
• ブロック長 $ n \to \infty $ の下で、出力系列の1シンボルあたりのエントロピーは $ H_0(Y) $、すなわち $ p_0(y) $ のマージナル出力分布のエントロピーに収束する。
• レート超過時 $ R > C $ において、リレー観測の正確再構成に必要な最小圧縮レートは、リレーが特定のコードブックを使用するか無視するかに関わらず同一である。
• これは、特定のコードブックがリレーでの圧縮に利点をもたらさないことを示し、出力分布が実質的に入力分布およびチャネル遷移確率によって支配されることを示唆する。
• この結果は、特定のコードブックに依存せず、入力分布のみに依存する古典的な圧縮・フォワーディング方式の最適性を支持しており、特に高レート領域で顕著である。