[论文解读] Communication over Individual Channels -- a general framework

Yuval Lomnitz, Meir Feder|arXiv (Cornell University)|Mar 7, 2012

Cellular Automata and Applications参考文献 26被引用 7

一句话总结

本文提出了一种针对无预设信道模型的个体信道通信的统一框架，利用反馈和公共随机性，基于经验输入-输出序列实现速率函数。关键贡献在于将可实现速率函数表征为与给定输出的输入条件分布渐近等价，且在长块长极限下开销趋于零。

ABSTRACT

We consider the problem of communicating over a channel for which no mathematical model is specified, and the achievable rates are determined as a function of the channel input and output sequences known a-posteriori, without assuming any a-priori relation between them. In a previous paper we have shown that the empirical mutual information between the input and output sequences is achievable without specifying the channel model, by using feedback and common randomness, and a similar result for real-valued input and output alphabets. In this paper, we present a unifying framework which includes the two previous results as particular cases. We characterize the region of rate functions which are achievable, and show that asymptotically the rate function is equivalent to a conditional distribution of the channel input given the output. We present a scheme that achieves these rates with asymptotically vanishing overheads.

研究动机与目标

• 将离散与连续字母表下关于经验互信息和基于相关性的速率的先前结果统一到一个理论框架中。
• 表征在不假设先验信道模型的前提下，可在个体信道上实现的速率函数集合。
• 开发一种通用通信方案，利用反馈和公共随机性，以渐近可忽略的开销实现这些速率。
• 细化开销分析，改进有限块长下的速率损失界。

提出的方法

• 该框架基于经验输入-输出序列定义速率函数，将信道视为未知但确定的。
• 通过联合解析输入和输出序列，利用有限状态机模型估计条件概率。
• 该方法采用条件LZ复杂度 $ C_{LZ}( extbf{x}| extbf{y}) $ 来限制给定输出序列的输入序列描述长度。
• 一个关键技术工具是推导不等式 $ \log P(\textbf{x}^n|\textbf{y}^n) \leq c \cdot \log S - C_{LZ}(\textbf{x}|\textbf{y}) $，其中 $ c $ 为短语数量，$ S $ 为状态数。
• 该方案利用公共随机性和反馈，基于观测到的输出序列自适应编码信息，确保速率函数可实时实现。
• 通过分析速率函数的有限块长行为，推导出更紧的开销界，表明速率损失 $ \delta_n $ 随 $ n \to \infty $ 而趋于零。

实验结果

研究问题

• RQ1 在不假设信道模型的前提下，可在个体信道上实现的速率函数的完整集合是什么？
• RQ2 如何将离散与连续速率函数（如经验互信息和基于相关性的速率）统一于单一框架下？
• RQ3 在有限块长下，普遍实现任意经验速率函数所需的最小开销是多少？
• RQ4 速率函数是否可渐近等价于给定输出的输入条件分布？若可，其条件是什么？
• RQ5 该方案的开销如何随块长变化？能否使其渐近可忽略？

主要发现

• 可实现速率函数的集合被表征为与给定输出序列的输入条件分布渐近等价的函数。
• 利用反馈和公共随机性，经验互信息 $ \hat{I}(\textbf{x};\textbf{y}) $ 可作为速率函数实现。
• 基于相关性的速率 $ \frac{1}{2}\log\frac{1}{1-\hat{\rho}^2(\textbf{x},\textbf{y})}} $ 同样可实现，将结果扩展至实值信道。
• 由有限状态编码引起的速率函数开销 $ \delta_n $ 在 $ n \to \infty $ 时渐近趋于零，确保在极限下速率最优。
• 条件LZ复杂度 $ C_{LZ}(\textbf{x}|\textbf{y}) $ 为给定输出的输入序列描述长度提供了紧致界，从而实现高效编码。
• 该框架重新推导并改进了AVC与混合信道中的先前结果，消除了先验约束，并适应经验信道行为。