[论文解读] Asymptotic Equipartition Property of Output when Rate is above Capacity

Xiugang Wu, Liang‐Liang Xie|ArXiv.org|Aug 31, 2009

Cooperative Communication and Network Coding参考文献 5被引用 7

一句话总结

当传输速率超过信道容量时，离散无记忆信道的输出序列在以 $ p_0(y) = \sum_x p_0(x)p(y|x) $ 为边际输出分布的典型序列上表现出渐近等分布性质（AEP），无论使用何种码书——只要码书是根据 $ p_0(x) $ 独立同分布生成且本身是典型序列。这种等分布现象源于速率溢出导致的输入序列混合，意味着中继观测结果在统计上与特定码书无关，这对最优压缩-转发中继方案的设计具有重要意义。

ABSTRACT

The output distribution, when rate is above capacity, is investigated. It is shown that there is an asymptotic equipartition property (AEP) of the typical output sequences, independently of the specific codebook used, as long as the codebook is typical according to the standard random codebook generation. This equipartition of the typical output sequences is caused by the mixup of input sequences when there are too many of them, namely, when the rate is above capacity. This discovery sheds some light on the optimal design of the compress-and-forward relay schemes.

研究动机与目标

• 研究当传输速率超过信道容量时，信道输出序列的统计行为。
• 确定在压缩-转发中继方案中，所用码书是否影响中继观测结果的分布。
• 评估中继是否能通过掌握源端特定码书的信息来改善其观测结果的压缩率。
• 建立输出分布与码书无关的条件，从而支持简化压缩策略的实现。

提出的方法

• 使用离散无记忆信道上序列的强典型性和条件典型性定义。
• 利用大偏差界和典型集性质，分析在 $ R > C $ 条件下，独立同分布码书生成时输出序列的渐近行为。
• 应用对数求和不等式和熵集中性论证，以界定输出序列的熵。
• 在高码率条件下，比较两种压缩场景：一种使用特定码书，另一种忽略码书。
• 证明当 $ R > C $ 时，无论中继是否使用特定码书，实现中继观测结果无失真重构所需的最小压缩速率相同，这是由于输出 AEP 的存在。
• 证明典型输出集合仅由输入分布 $ p_0(x) $ 和信道转移概率 $ p(y|x) $ 决定，与具体码书无关。

实验结果

研究问题

• RQ1 当传输速率超过信道容量时，信道输出分布是否表现出渐近等分布性质？
• RQ2 当速率超过容量时，中继的观测分布是否依赖于源端所用的特定码书？
• RQ3 在压缩-转发方案中，掌握源端特定码书是否能改善中继处的压缩速率？
• RQ4 当源端速率高于容量时，无失真压缩中继观测结果所需的最小速率是多少？
• RQ5 在随机独立同分布码书生成下，典型输出序列集合是否与码书结构无关？

主要发现

• 当速率超过容量时，离散无记忆信道的输出序列在以 $ p_0(y) = \sum_x p_0(x)p(y|x) $ 为边际输出分布的典型序列集合上满足渐近等分布性质（AEP），且与所用具体码书无关。
• 只要码书是根据 $ p_0(x) $ 独立同分布生成且本身是典型序列，典型输出集合就与码书无关，这是由于高码率下输入序列的混合效应。
• 当块长 $ n \to \infty $ 时，输出序列的每符号熵收敛至 $ H_0(Y) $，即边际输出分布 $ p_0(y) $ 的熵。
• 当 $ R > C $ 时，无论中继是否使用特定码书，实现中继观测结果无失真重构所需的最小压缩速率相同。
• 这意味着特定码书对中继处的压缩无任何优势，且输出分布实际上仅由输入分布和信道转移概率决定。
• 该结果支持经典压缩-转发方案的最优性，这些方案仅依赖于输入分布而非具体码书，尤其在高码率场景下更具优势。