[论文解读] Achieving the Empirical Capacity Using Feedback Part I: Memoryless Additive Models

Ofer Shayevitz, Meir Feder|ArXiv.org|Aug 29, 2008

Markov Chains and Monte Carlo Methods参考文献 5被引用 7

一句话总结

该论文提出了一种适用于无记忆加性信道的通用反馈传输方案，该信道具有任意且未知的噪声序列，即使经典容量为零，仍能实现接近经验容量 $\log|\mathcal{X}| - H_{\rm emp}(Z^n)$ 的传输速率。通过采用带训练和更新阶段的序列编码，并利用公共随机性或加扰技术，该方案能够实时自适应地估计噪声统计特性，从而根据信道的实际行为以可变速率实现可靠通信。

ABSTRACT

We address the problem of universal communications over an unknown channel with an instantaneous noiseless feedback, and show how rates corresponding to the empirical behavior of the channel can be attained, although no rate can be guaranteed in advance. First, we consider a discrete modulo-additive channel with alphabet $\mathcal{X}$, where the noise sequence $Z^n$ is arbitrary and unknown and may causally depend on the transmitted and received sequences and on the encoder's message, possibly in an adversarial fashion. Although the classical capacity of this channel is zero, we show that rates approaching the empirical capacity $\log|\mathcal{X}|-H_{emp}(Z^n)$ can be universally attained, where $H_{emp}(Z^n)$ is the empirical entropy of $Z^n$. For the more general setting where the channel can map its input to an output in an arbitrary unknown fashion subject only to causality, we model the empirical channel actions as the modulo-addition of a realized noise sequence, and show that the same result applies if common randomness is available. The results are proved constructively, by providing a simple sequential transmission scheme approaching the empirical capacity. In part II of this work we demonstrate how even higher rates can be attained by using more elaborate models for channel actions, and by utilizing possible empirical dependencies in its behavior.

研究动机与目标

• 解决在具有瞬时无噪反馈的未知信道上的通用通信问题，其中由于对抗性噪声的存在，经典容量为零。
• 实现与信道实际行为相匹配的传输速率，该行为由噪声序列的经验熵定义。
• 构建一种实用的、分步的传输方案，能够实时自适应地应对未知的任意噪声序列，且无需事先了解信道信息。
• 证明公共随机性可在无主动反馈的情况下实现通用速率自适应。
• 统一处理任意信道行为，基于模加性模型，实现基于观测经验统计的速率自适应。

提出的方法

• 一种分步传输方案将时间划分为块，利用训练和更新阶段来估计噪声序列的经验分布。
• 通过加扰确保输入分布的均匀性，从而保证训练样本能够真实反映实际的经验噪声分布。
• 该方案利用公共随机性替代主动反馈，通过在控制序列中使用结构化字母表来传输控制信息（例如，更新位的位置）。
• 编码器利用反馈信息，基于历史观测、消息点和控制序列自适应地选择输入符号，确保对噪声的因果采样。
• 引理表明，训练和更新序列构成对噪声的因果采样序列，从而实现对经验熵的一致估计。
• 通过定义输入符号上包含训练、常规和更新位置的边缘分布，最小化冗余项。

实验结果

研究问题

• RQ1 是否能在具有对抗性、未知噪声序列的信道中，实现接近经验容量的可靠通信？
• RQ2 即使经典容量为零，是否仍可普遍地根据信道的实际经验行为自适应调整传输速率？
• RQ3 如何利用公共随机性替代主动反馈以实现经验容量？
• RQ4 通过加扰实现的输入分布均匀性在确保经验熵准确估计中起到什么作用？
• RQ5 所提出的方案是否能在所有可能的信道实现和消息点上实现对经验容量的统一收敛？

主要发现

• 所提出的方案对任意无记忆加性信道、具有任意未知噪声序列的情况，普遍实现了经验容量 $\log|\mathcal{X}| - H_{\rm emp}(Z^n)$。
• 即使经典容量为零（例如，在二元模加性信道中当 $p \geq 1/3$ 时），该方案仍能实现接近经验容量的传输速率。
• 通过加扰，该方案在整个族 $\mathscr{C}_{\scriptscriptstyle\mathcal{X}}$ 上一致地实现了经验容量，且收敛参数与信道或消息点无关。
• 使用公共随机性使该方案能够替代主动反馈，同时保持经验容量的性能。
• 加扰确保了训练和更新样本真实反映了经验噪声分布，从而实现了对 $H_{\rm emp}(Z^n)$ 的一致估计。
• 该方案的收敛性由引理保证，这些引理表明在每个块内，训练和更新序列是对噪声的因果采样序列。