[论文解读] An Efficient MN-Algorithm for Joint Source-Channel Coding

Haggai Kfir, Eyal Shpilman+1 more|arXiv (Cornell University)|Dec 21, 2004

Error Correcting Code Techniques参考文献 11被引用 4

一句话总结

该论文提出了一种高效的MN算法，用于联合源信道编码，采用信念传播并结合从马尔可夫源统计特性导出的动态更新块先验（DBP）。通过利用转移矩阵T作为辅助信息来捕捉符号相关性，该方法即使在源数据压缩的情况下也能实现接近香农极限的性能，优于分离式方案，并实现了二维/三维符号阵列的低复杂度解码。

ABSTRACT

Belief Propagation (BP) decoding of LDPC codes is extended to the case of Joint Source-Channel coding. The uncompressed source is treated as a Markov process, characterized by a transition matrix, T, which is utilized as side information for the Joint scheme. The method is based on the ability to calculate a Dynamical Block Prior (DBP), for each decoded symbol separately, and re-estimate this prior after every iteration of the BP decoder. We demonstrate the implementation of this method using MacKay and Neel's LDPC algorithm over GF(q), and present simulation results indicating that the proposed scheme is comparable with Separation scheme, even when advanced compression algorithms (such as AC, PPM) are used. The extension to 2D (and higher) arrays of symbols is straight-forward. The possibility of using the proposed scheme without side information is briefly sketched.

研究动机与目标

• 开发一种联合源信道编码方案，利用源相关性提升解码性能，超越基于分离的方案。
• 通过利用转移矩阵T将源的马尔可夫统计特性作为辅助信息，降低解码复杂度和开销。
• 实现对未压缩数据（如文本、位图）的联合编码的实用化实现，具备对单比特错误的鲁棒性。
• 探索在不显式传输辅助信息的情况下进行联合解码的可行性，通过EM算法估计马尔可夫转移矩阵T。
• 在保持低解码复杂度的前提下，将该方法扩展至更高维度的符号阵列（2D、3D），利用贝叶斯与马尔可夫假设。

提出的方法

• 将Mackay与Neel在GF(q)上的LDPC算法扩展至处理非独立同分布的源序列，通过将源建模为具有转移矩阵T的马尔可夫过程。
• 引入动态块先验（DBP），基于当前的信念状态和马尔可夫转移矩阵T，对每个符号迭代重新估计。
• 在变量节点表示源符号和噪声符号、校验节点表示由矩阵A和B导出的校验方程的二分图上使用信念传播（BP）。
• 采用KS构造方法生成矩阵A和B，以确保稀疏性和系统结构，从而实现高效计算并达到接近容量限的性能。
• 使用EM算法从校验向量z估计转移矩阵T，当辅助信息未被传输时，实现盲解码。
• 通过利用转移矩阵T的稀疏性，并使用贝叶斯推断避免每个符号的O(q²)全计算，降低计算复杂度。

实验结果

研究问题

• RQ1 使用马尔可夫源统计特性的联合源信道编码是否能相比分离式源编码与信道编码提升解码性能？
• RQ2 如何在信念传播解码中有效利用马尔可夫源的转移矩阵T作为辅助信息以增强可靠性？
• RQ3 所提出的基于DBP的解码方案相较于传统分离式方案在性能上有多大提升，尤其是在使用先进压缩算法时？
• RQ4 能否通过从接收的校验向量使用EM算法估计T，实现在不传输辅助信息情况下的联合解码？
• RQ5 在二维或三维符号阵列中，解码器的复杂度如何随字母表大小q和维度d变化？

主要发现

• 所提出的联合编码方案即使在使用AC和PPM等先进压缩算法时，性能也与分离式方案相当。
• 当仅使用T中最大的q个元素作为辅助信息时，关键噪声水平fc仅略微降低，而辅助信息大小却大幅减少。
• 对于GF(2)和R=1/3，有效噪声率feff为2f(1−f)，从而可从校验向量中估计源统计特性。
• 解码器复杂度每轮为O(kq²)，但可通过稀疏T降至O(kq²)，并进一步利用马尔可夫假设在d维阵列中降至O(k^d q²)。
• 该方法可扩展至二维及更高维符号阵列，在贝叶斯与马尔可夫假设下，复杂度为O(k^d q²)。
• 仿真结果表明，该方案接近香农下限，尤其在使用优化码时，表明其具备接近容量限的性能。