[论文解读] A Technique for Deriving One-Shot Achievability Results in Network Information Theory

Mohammad Hossein Yassaee, Mohammad Reza Aref+1 more|arXiv (Cornell University)|Mar 4, 2013

Cooperative Communication and Network Coding参考文献 12被引用 13

一句话总结

本文提出了一种网络信息论中新颖的一次性可达性技术，通过使用结构化的随机编码器和译码器，避免了传统覆盖与打包引理的使用。该方法利用詹森不等式来界定误码概率，从而为多种网络问题（包括广播信道、Gelfand-Pinsker 信道以及联合源信道编码）获得紧致的一次性界。其渐近形式可恢复经典结果，并通过多变量 Berry-Essen 中心极限定理实现新的有限块长分析。

ABSTRACT

This paper proposes a novel technique to prove a one-shot version of achievability results in network information theory. The technique is not based on covering and packing lemmas. In this technique, we use an stochastic encoder and decoder with a particular structure for coding that resembles both the ML and the joint-typicality coders. Although stochastic encoders and decoders do not usually enhance the capacity region, their use simplifies the analysis. The Jensen inequality lies at the heart of error analysis, which enables us to deal with the expectation of many terms coming from stochastic encoders and decoders at once. The technique is illustrated via several examples: point-to-point channel coding, Gelfand-Pinsker, Broadcast channel (Marton), Berger-Tung, Heegard-Berger/Kaspi, Multiple description coding and Joint source-channel coding over a MAC. Most of our one-shot results are new. The asymptotic forms of these expressions is the same as that of classical results. Our one-shot bounds in conjunction with multi-dimensional Berry-Essen CLT imply new results in the finite blocklength regime. In particular applying the one-shot result for the memoryless broadcast channel in the asymptotic case, we get the entire region of Marton's inner bound without any need for time-sharing.

研究动机与目标

• 开发一种网络信息论中的一般性一次性可达性框架，以绕过经典覆盖与打包引理。
• 通过采用类似于最大似然和联合典型性译码的随机编码器-译码器结构，简化有限块长区域中的误码分析。
• 为广播信道、Gelfand-Pinsker 信道以及联合源信道编码等关键网络问题推导出新的一次性界。
• 证明这些一次性界的渐近极限在不依赖时分复用的情况下可恢复经典容量区域。
• 通过将一次性界与多变量 Berry-Essen 中心极限定理结合，实现新的有限块长结果。

提出的方法

• 该技术采用一种结构类似于最大似然和联合典型性译码的随机编码器-译码器，通过逆条件分布实现。
• 误码分析依赖于詹森不等式，以在单一不等式链中处理由编码器中随机成分引起的多个随机项的期望。
• 该方法使用信息密度项（如 $ \imath(y; x_1, x_2) $）以条件概率形式表达正确译码的可能性。
• 在译码度量中引入归一化分母，以考虑所有可能的错误码字组合，并通过条件概率和信息密度进行有界处理。
• 通过将译码成功概率表示为信息密度和先验概率的函数，该方法可统一应用于多个问题。
• 一次性界通过利用随机码结构和给定概率质量函数下信息密度性质的一系列不等式推导得出。

实验结果

研究问题

• RQ1 能否在不依赖覆盖与打包引理的前提下，为网络信息论问题推导出一次性可达性结果？
• RQ2 如何设计随机编码器与译码器，以在保持界紧致性的同时简化误码分析？
• RQ3 詹森不等式能否有效用于界定一次性编码方案中复杂随机项的期望？
• RQ4 当该方法应用于大块长时，其一次性界是否能恢复经典渐近容量区域？
• RQ5 当与多变量 Berry-Essen 中心极限定理结合时，该技术能否生成新的有限块长结果？

主要发现

• 为无记忆广播信道推导的一次性可达性界在渐近情况下可恢复整个 Marton 内部容量区域，且无需时分复用。
• 所提出的方法为 Gelfand-Pinsker 信道、广播信道、Berger-Tung 信道、Heegard-Berger/Kaspi 信道、多描述编码以及多址信道上的联合源信道编码问题均推导出新的一次性界。
• 一次性界的渐近形式与经典结果一致，证实其与既定容量定理的兼容性。
• 使用随机编码器与译码器可简化分析，通过詹森不等式实现对多个误码项的联合处理。
• 将一次性界与多变量 Berry-Essen 中心极限定理结合，可获得新的有限块长结果，尤其适用于 Gelfand-Pinsker 信道与广播信道。
• 该方法避免了对互覆盖与打包引理的一次性推广，而这类推广在文献中仍属未解难题。