[论文解读] Analytical Lower Bounds on the Capacity of Insertion and Deletion Channels

Mojtaba Rahmati, Tolga M. Duman|arXiv (Cornell University)|Jan 6, 2011

DNA and Biological Computing参考文献 13被引用 10

一句话总结

本文使用独立同分布的输入和互信息计算，推导了二元插入与删除信道容量的解析下界。该工作首次提出了删除-加性白高斯噪声（AWGN）信道的解析下界，改进了现有删除-替换信道的下界，并在低插入概率下提升了Gallager插入模型的结果。

ABSTRACT

We develop several analytical lower bounds on the capacity of binary insertion and deletion channels by considering independent uniformly distributed (i.u.d.) inputs and computing lower bounds on the mutual information between the input and the output sequences. For the deletion channel, we consider two different models: i.i.d. deletion-substitution channel and i.i.d. deletion channel with additive white Gaussian noise (AWGN). These two models are considered to incorporate effects of the channel noise along with the synchronization errors. For the insertion channel case we consider the Gallager’s model in which the transmitted bits are replaced with two random bits and uniform over the four possibilities independently of any other insertion events. The general approach taken is similar in all cases, however the specific computations differ. Furthermore, the approach yields a useful lower bound on the capacity for a wide range of deletion probabilities for the deletion channels, while it provides a beneficial bound only for very low insertion probabilities for the insertion model adopted. We emphasize the importance of these results by noting that 1) our results are the first analytical bounds on the capacity of deletion-AWGN channels, 2) the results developed are the best available analytical lower bounds on the deletion/substitution case, 3) for Gallager insertion channel model, the new lower bound improves the existing results for small insertion probabilities. Index Terms Insertion/deletion channels, synchronization, channel capacity, achievable rates.

研究动机与目标

• 解决因加性白高斯噪声（AWGN）导致的删除信道缺乏解析容量下界的问题。
• 改进现有删除与替换信道容量的解析下界。
• 在低插入概率下，为Gallager的插入信道模型提供更紧致的解析下界。
• 建立一个统一的解析框架，适用于同时包含噪声模型的插入与删除信道。
• 提供可计算且解析可处理的下界，以支持理论与实际通信系统设计。

提出的方法

• 使用独立同分布（i.i.d.）的均匀分布输入，通过互信息计算作为信道容量的下界。
• 应用信息论技术，对插入与删除信道中的同步错误进行建模。
• 分析两种删除信道模型：i.i.d. 删除-替换模型与i.i.d. 删除加AWGN模型。
• 采用Gallager的插入模型，其中每个比特被两个独立同分布的随机比特替换，且与其他插入相互独立。
• 推导在每种信道模型下，输入与输出序列之间互信息的解析表达式。
• 利用对称性与概率分析，简化并界定互信息表达式。

实验结果

研究问题

• RQ1 对于受加性白高斯噪声（AWGN）影响的二元删除信道，其容量的解析下界是什么？
• RQ2 现有删除-替换信道的解析下界与本文提出的下界相比如何？
• RQ3 能否在低插入概率下，为Gallager的插入信道模型推导出更紧致的解析下界？
• RQ4 在删除信道中引入AWGN对容量下界有何影响？
• RQ5 在这些模型中，输入与输出序列之间的互信息为何能作为信道容量的可靠下界？

主要发现

• 本文首次提出了受加性白高斯噪声（AWGN）影响的删除信道容量的解析下界。
• 对于删除-替换信道，所提出的下界优于现有解析结果，尤其在中等删除概率下表现更优。
• 为Gallager插入信道模型推导出的下界在小插入概率下比以往结果更紧致。
• 该方法可产生可计算且解析可处理的下界，适用于广泛的删除概率范围。
• 基于互信息的方法为同步错误信道的容量边界提供了稳定且严谨的框架。
• 结果表明，即使在同时包含噪声与同步错误的复杂模型中，解析容量下界也是可行的。