[论文解读] A Unified Approach to Non-Asymptotic and Asymptotic Analyses of Information Processing on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|Sep 29, 2013

Wireless Communication Security Techniques被引用 2

一句话总结

本文提出了一种用于马尔可夫链中信息处理的有限长度分析的统一框架，针对带有侧信息的信源编码与信道编码提出了计算高效的界。通过新颖的转移矩阵信息度量，该方法在大偏差、中偏差和二阶界中实现了渐近最优性。

ABSTRACT

We study finite-length bounds for source coding with side information for Markov sources and channel coding for channels with conditional Markovian additive noise. For this purpose, we propose two criteria for finite-length bounds. One is the asymptotic optimality and the other is the efficient computability of the bound. Then, we derive finite-length upper and lower bounds for coding length in both settings so that their computational complexity is efficient. To discuss the first criterion, we derive the large deviation bounds, the moderate deviation bounds, and second order bounds for these two topics, and show that these finite-length bounds achieves the asymptotic optimality in these senses. For this discussion, we introduce several kinds of information measure for transition matrices.

研究动机与目标

• 为马尔可夫信源中的带侧信息信源编码开发有限长度界。
• 推导条件马尔可夫加性噪声信道编码的有限长度界。
• 确保这些界既具有渐近最优性又可高效计算。
• 在单一理论框架下统一非渐近与渐近分析，适用于马尔可夫系统。

提出的方法

• 提出两个标准：有限长度界的渐近最优性与计算高效性。
• 引入专用于马尔可夫链转移矩阵的新信息度量。
• 为信源编码与信道编码场景推导大偏差、中偏差与二阶界。
• 将这些界应用于具有条件马尔可夫噪声的马尔可夫信源与信道。
• 通过设计低复杂度的界来确保计算效率，以利于实际实现。
• 利用所提出的度量建立有限长度性能与渐近极限之间的理论联系。

实验结果

研究问题

• RQ1 如何使马尔可夫信源中带侧信息的信源编码的有限长度界既具有渐近最优性又可高效计算？
• RQ2 哪些用于转移矩阵的信息度量能够在马尔可夫系统中实现紧致且可计算的界？
• RQ3 在马尔可夫链的信息处理背景下，大偏差、中偏差与二阶界之间有何关系？
• RQ4 是否可以构建一个统一框架，同时处理马尔可夫不确定性下的信源编码与信道编码？
• RQ5 在马尔可夫设置下，有限长度界在计算复杂度与紧致性之间存在何种权衡？

主要发现

• 所提出的有限长度界在大偏差、中偏差与二阶区域中均实现了渐近最优性。
• 针对转移矩阵提出的新信息度量，使界比现有方法更紧致且计算更高效。
• 这些界同时适用于带侧信息的信源编码与具有条件马尔可夫噪声的信道编码。
• 该框架确保界在保持理论紧致性的同时维持低计算复杂度。
• 分析表明，所提出的界在所有三种偏差区域中均收敛至渐近极限。
• 统一方法成功弥合了马尔可夫信息处理系统中非渐近与渐近分析之间的鸿沟。