[论文解读] Reed-Muller Codes Achieve Capacity on BMS Channels

Galen Reeves, Henry D. Pfister|arXiv (Cornell University)|Oct 27, 2021

Error Correcting Code Techniques参考文献 36被引用 16

一句话总结

该论文证明了长码率的 Reed-Muller (RM) 码在所有二元记忆无损对称 (BMS) 信道下，采用逐比特最大后验概率译码时可达到容量。通过利用 RM 码的嵌套性质，并引入将广义外信息转移函数与外信息最小均方误差联系起来的新信息不等式，作者在不依赖超收缩性的情况下解决了编码理论中一个长期悬而未决的问题。

ABSTRACT

This paper considers the performance of long Reed-Muller (RM) codes transmitted over binary memoryless symmetric (BMS) channels under bitwise maximum-a-posteriori decoding. Its main result is that the family of binary RM codes achieves capacity on any BMS channel with respect to bit-error rate. This resolves a long-standing open problem that connects information theory and error-correcting codes. In contrast with the earlier result for the binary erasure channel, the new proof does not rely on hypercontractivity. Instead, it combines a nesting property of RM codes with new information inequalities relating the generalized extrinsic information transfer function and the extrinsic minimum mean-squared error.

研究动机与目标

• 证明 Reed-Muller 码在所有二元记忆无损对称 (BMS) 信道下，针对误比特率，可达到容量。
• 解决信息论中关于 RM 码在二元擦除信道之外的通用 BMS 信道上是否达到容量这一长期悬而未决的问题。
• 建立一个适用于通用 BMS 信道上 RM 码的证明框架，该框架不依赖于超收缩性，与先前结果不同。
• 引入新的信息论工具，将广义外信息转移函数与外信息最小均方误差联系起来。

提出的方法

• 利用 Reed-Muller 码的嵌套性质，关联不同参数的码，并利用其分层结构。
• 提出一类新的信息不等式，将广义外信息转移 (EXIT) 函数与外信息最小均方误差 (MMSE) 联系起来。
• 将这些不等式应用于分析 RM 码在逐比特最大后验概率译码下的误比特率性能。
• 建立广义 EXIT 函数随码长增加而收敛至信道容量的性质。
• 利用 RM 码的结构，通过新信息论不等式界定误比特概率的衰减速率。
• 证明所导出的界表明，RM 码在任意 BMS 信道上均实现容量可译性能。

实验结果

研究问题

• RQ1 在逐比特 MAP 译码下，Reed-Muller 码是否在所有二元记忆无损对称 (BMS) 信道上达到容量？
• RQ2 RM 码在二元擦除信道上达到容量的性质，能否在不依赖超收缩性的前提下推广至通用 BMS 信道？
• RQ3 分析通用 BMS 信道上 RM 码性能所需的新的信息论不等式是什么？
• RQ4 RM 码的嵌套结构如何促进其容量可译性能的证明？
• RQ5 广义外信息转移函数与外信息 MMSE 在表征误比特率收敛至零的过程中起什么作用？

主要发现

• 在逐比特最大后验概率译码下，Reed-Muller 码在任意二元记忆无损对称 (BMS) 信道上，针对误比特率，可达到容量。
• 该证明不依赖于超收缩性，与早期在二元擦除信道上的结果形成鲜明对比。
• 建立并应用了一类新的信息不等式，将广义外信息转移函数与外信息最小均方误差联系起来。
• RM 码的嵌套性质在推导误比特率界时起到关键作用，且这些界随码长增加而收敛至零。
• RM 码的广义 EXIT 函数收敛至信道容量，证实了其容量可译行为。
• 该结果解决了编码理论中关于 RM 码在通用 BMS 信道上性能的长期悬而未决问题。