[论文解读] Finite-Length Analyses for Source and Channel Coding on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|Sep 29, 2013

Wireless Communication Security Techniques参考文献 56被引用 11

一句话总结

本文提出了一种基于Rényi散度和条件Rényi熵的统一框架，用于在马尔可夫链上对信源编码和信道编码建立有限长度界。该框架引入了计算高效的界，其在大偏差、中等偏差和第二阶 regimes 下达到渐近最优，为记忆依赖系统中的实际块长提供了紧致的性能极限。

ABSTRACT

We study finite-length bounds for source coding with side information for Markov sources and channel coding for channels with conditional Markovian additive noise. For this purpose, we propose two criteria for finite-length bounds. One is the asymptotic optimality and the other is the efficient computability of the bound. Then, we derive finite-length upper and lower bounds for coding length in both settings so that their computational complexity is efficient. To discuss the first criterion, we derive the large deviation bounds, the moderate deviation bounds, and second order bounds for these two topics, and show that these finite-length bounds achieves the asymptotic optimality in these senses. For this discussion, we introduce several kinds of information measure for transition matrices.

研究动机与目标

• 解决现有马尔可夫链编码中缺乏计算高效且渐近最优的有限长度界的问题。
• 通过统一的信息论框架，统一有限长度的信源编码（带辅助信息）与带马尔可夫噪声的信道编码分析。
• 开发在大偏差、中等偏差和第二阶regimes下既计算高效又渐近最优的界。
• 引入用于转移矩阵的新信息度量，以在记忆依赖设置中实现紧致且可计算的界。

提出的方法

• 基于Rényi散度和条件Rényi熵，采用指数型界形式化有限长度可达性界。
• 通过线性规划应用假设检验界框架以评估误码概率，确保在对称条件下的计算可行性。
• 通过在Rényi散度参数上进行变分优化推导界，采用$\tilde{\rho}$和$\sigma$的参数化方式，以优化误码与速率之间的权衡。
• 引入条件加性信道模型$P_{B^n|A^n,\rho}$，将原始信道与倾斜分布关联，以支持Rényi散度分析。
• 利用Rényi散度的单调性，推导出不等式，将误码概率以倾斜分布与原始分布之间散度的形式进行界定。
• 通过在$\tilde{\rho}$和$\sigma$上进行优化，建立紧致界，同时通过约束确保收敛至渐近regimes。

实验结果

研究问题

• RQ1 马尔可夫信源与信道编码的有限长度界是否既能计算高效又能渐近最优？
• RQ2 Rényi散度和条件Rényi熵如何扩展以处理信源与信道编码中的马尔可夫依赖？
• RQ3 哪些用于转移矩阵的信息度量可实现记忆依赖系统中紧致且可计算的有限长度界？
• RQ4 所提出的界是否在大偏差、中等偏差和第二阶regimes下实现渐近最优？
• RQ5 该框架能否在带辅助信息的信源编码与带马尔可夫噪声的信道编码之间实现统一？

主要发现

• 所提界在大偏差、中等偏差和第二阶regimes下均达到渐近最优，与已知基本极限一致。
• 当存在对称性时，可通过线性规划高效计算界，避免了其他方法中常见的变量指数增长。
• 利用条件Rényi熵和倾斜分布，实现了与块长良好缩放的紧致有限长度界。
• 该框架成功统一了带辅助信息的信源编码与带马尔可夫加性噪声的信道编码的有限长度分析。
• 通过Rényi散度优化推导的界在所有渐近regimes下性能与RCU界相当，且计算效率更高。
• 该方法引入了基于$\tilde{\rho}$和$\sigma$的新参数化方式，实现了紧致优化，并收敛至已知的渐近极限。