[论文解读] Discriminated Belief Propagation

Uli Sorger|ArXiv.org|Oct 29, 2007

Error Correcting Code Techniques参考文献 12被引用 5

一句话总结

本文提出了判别式信念传播（DBP），这是针对纠错码迭代译码的环状信念传播的推广。通过引入在码空间局部区域中精炼信念估计的判别器，DBP 提升了译码的准确性和收敛性，利用适用于多种信道模型的低复杂度高斯近似，实现了接近容量限的性能。

ABSTRACT

Near optimal decoding of good error control codes is generally a difficult task. However, for a certain type of (sufficiently) good codes an efficient decoding algorithm with near optimal performance exists. These codes are defined via a combination of constituent codes with low complexity trellis representations. Their decoding algorithm is an instance of (loopy) belief propagation and is based on an iterative transfer of constituent beliefs. The beliefs are thereby given by the symbol probabilities computed in the constituent trellises. Even though weak constituent codes are employed close to optimal performance is obtained, i.e., the encoder/decoder pair (almost) achieves the information theoretic capacity. However, (loopy) belief propagation only performs well for a rather specific set of codes, which limits its applicability. In this paper a generalisation of iterative decoding is presented. It is proposed to transfer more values than just the constituent beliefs. This is achieved by the transfer of beliefs obtained by independently investigating parts of the code space. This leads to the concept of discriminators, which are used to improve the decoder resolution within certain areas and defines discriminated symbol beliefs. It is shown that these beliefs approximate the overall symbol probabilities. This leads to an iteration rule that (below channel capacity) typically only admits the solution of the overall decoding problem. Via a Gauss approximation a low complexity version of this algorithm is derived. Moreover, the approach may then be applied to a wide range of channel maps without significant complexity increase.

研究动机与目标

• 为解决环状信念传播在译码复杂或短码长码时的局限性，提出一种广义框架。
• 通过在码空间特定区域精炼符号信念的判别器，提升译码分辨率和准确性。
• 开发一种基于高斯分布的低复杂度近似方法，使其在各种信道映射下保持高性能。
• 证明所提方法在容量限以下的信道条件下可收敛至最优译码解。
• 将基于信念传播的译码方法适用范围扩展至非理想码和信道条件。

提出的方法

• 该方法引入判别器——对码空间进行基于不确定性或距离的局部化划分，以引导广义信念在标准符号概率之外的传递。
• 判别器使能够计算出判别式符号信念，以近似真实传输符号的后验概率。
• 由判别器生成的局部信念融合生成共同信念，构成迭代译码更新规则的基础。
• 该算法采用高斯近似以降低计算复杂度，将分量分布建模为多元高斯分布。
• 关键方程涉及通过精度矩阵和均值向量融合信念分量：$[\hat{\mathbf{A}}_{i}^{{\scriptscriptstyle\boxtimes}}(x)]^{-1} = \mathbf{B}_{i}^{(1)}(x) + \mathbf{B}_{i}^{(2)}(x) - \mathbf{B}_{i}(x)$，其中 $\mathbf{B}$ 表示逆协方差矩阵。
• 通过对结果高斯混合模型参数计算对数似然比 $\hat{L}_{i}^{{\scriptscriptstyle\boxtimes}}(\mathbf{m})$，实现高效迭代更新。

实验结果

研究问题

• RQ1 信念传播能否被广义化，以在复杂或短码长码中超越标准环状BP的性能局限？
• RQ2 通过判别器实现的码空间局部化分析，如何提升符号信念估计的分辨率和准确性？
• RQ3 在各种信道模型下，使用高斯近似对译码算法的复杂度和性能有何影响？
• RQ4 所提方法在典型容量限以下的译码条件下是否能收敛至最优译码解？
• RQ5 该框架能否在不显著增加复杂度的前提下，适用于广泛的信道映射？

主要发现

• 判别器的使用使得能够推导出近似真实符号后验概率的共同信念，显著提升了译码准确性。
• 基于判别信念的迭代译码过程在容量限以下运行时，通常可收敛至最优译码解。
• 推导出一种低复杂度的基于高斯分布的近似方法，在降低计算需求的同时保持高性能。
• 即使在弱分量码下，该方法仍能实现接近容量限的性能，证明了通过判别器实现信念精炼的有效性。
• 该框架在各种信道映射下具有鲁棒性，得益于高斯近似和模块化信念融合，复杂度增加极小。
• 通过信念更新规则的不动点分析，该算法收敛至最优解的特性得到了理论支持。