[论文解读] Denoising Diffusion Error Correction Codes

Yoni Choukroun, Lior Wolf|arXiv (Cornell University)|Sep 16, 2022

Error Correcting Code Techniques被引用 5

一句话总结

本文提出去噪扩散纠错编码（DDECCT），一种新颖的神经解码框架，利用条件扩散过程逆转线性码中的信道损伤。通过将噪声添加建模为前向扩散过程，并采用基于校验的线性搜索以确定最优反向步长，DDECCT在仅使用单步反向操作的情况下，实现了最先进的误比特率性能，显著优于先前的神经解码器（如ECCT），尤其在浅层架构中表现突出。

ABSTRACT

Error correction code (ECC) is an integral part of the physical communication layer, ensuring reliable data transfer over noisy channels. Recently, neural decoders have demonstrated their advantage over classical decoding techniques. However, recent state-of-the-art neural decoders suffer from high complexity and lack the important iterative scheme characteristic of many legacy decoders. In this work, we propose to employ denoising diffusion models for the soft decoding of linear codes at arbitrary block lengths. Our framework models the forward channel corruption as a series of diffusion steps that can be reversed iteratively. Three contributions are made: (i) a diffusion process suitable for the decoding setting is introduced, (ii) the neural diffusion decoder is conditioned on the number of parity errors, which indicates the level of corruption at a given step, (iii) a line search procedure based on the code's syndrome obtains the optimal reverse diffusion step size. The proposed approach demonstrates the power of diffusion models for ECC and is able to achieve state of the art accuracy, outperforming the other neural decoders by sizable margins, even for a single reverse diffusion step.

研究动机与目标

• 为解决现有神经解码器在纠错码（ECC）中计算复杂度高且缺乏迭代结构的问题。
• 将去噪扩散概率模型（DDPM）适配至ECC解码问题，实现迭代、高效的解码。
• 通过条件引导的扩散过程，提升低噪声与高噪声场景下的解码准确性。
• 提出一种基于码校验最小化的线性搜索程序，以优化反向扩散步长。
• 证明即使浅层模型，也能通过基于扩散的软解码超越更深的、最先进的神经解码器。

提出的方法

• 该框架将信道损伤建模为一系列潜在状态上的前向扩散过程，模拟噪声逐步增加的过程。
• 训练一个去噪U-Net架构以逆转该过程，从含噪观测中重建原始码字。
• 去噪模型在每个扩散步骤中，以校验错误数为条件，作为污染程度的指示信号。
• 引入一种线性搜索程序，通过最小化去噪码字的校验值，动态选择最优反向扩散步长。
• 该方法利用当前估计的校验值引导收敛至有效码字，确保结果正确性。
• 该方法适用于多种线性分组码，包括LDPC码和代数码，且无需对基础模型进行架构修改。

实验结果

研究问题

• RQ1 去噪扩散模型能否有效适配至纠错码解码问题，特别是线性分组码？
• RQ2 在扩散模型中引入校验错误数作为条件，是否能提升解码准确率与收敛速度？
• RQ3 基于校验最小化的线性搜索程序是否能以极低计算开销显著提升解码性能？
• RQ4 基于扩散的浅层解码器能否超越更深、更复杂的最先进神经解码器（如ECCT）？
• RQ5 在非高斯信道条件（如瑞利衰落）下，该方法表现如何？

主要发现

• DDECCT在多种码族中均实现了最先进的误比特率（BER）性能，相比ECCT最高可提升一个数量级，尤其在浅层模型中表现优异。
• 即使仅使用一步反向扩散并结合线性搜索优化，其性能仍优于ECCT的100层完整模型，展现出极高的效率。
• 线性搜索程序可实现极快收敛，高信噪比下甚至仅需一次迭代，多数码的平均收敛时间低于2次迭代。
• 该方法在非高斯瑞利衰落信道中表现出良好泛化能力，尽管整体噪声方差更高，仍能保持强劲的解码性能。
• 对于更大码长的码，DDECCT保持优异性能并超越ECCT，表明其具备良好的可扩展性与鲁棒性。
• 将校验最小化作为步长控制机制，可实现一致且可靠的收敛至有效码字。