[论文解读] Decomposition Methods for Large Scale LP Decoding

Siddharth Barman, Xishuo Liu+2 more|arXiv (Cornell University)|Apr 2, 2012

Error Correcting Code Techniques参考文献 47被引用 5

一句话总结

该论文提出了一种基于交替方向乘子法（ADMM）的高效、分布式线性规划（LP）译码算法，用于大规模低密度奇偶校验（LDPC）码，其核心是通过一种新颖的“双切片”奇偶多面体表征方式，实现快速欧几里得投影，从而显著提升计算效率。该方法在译码速度上可与置信传播（BP）相媲美，同时消除了BP中常见的误码平台现象，具备强大的理论保证，并在长码长条件下展现出良好的可扩展性。

ABSTRACT

When binary linear error-correcting codes are used over symmetric channels, a relaxed version of the maximum likelihood decoding problem can be stated as a linear program (LP). This LP decoder can be used to decode error-correcting codes at bit-error-rates comparable to state-of-the-art belief propagation (BP) decoders, but with significantly stronger theoretical guarantees. However, LP decoding when implemented with standard LP solvers does not easily scale to the block lengths of modern error correcting codes. In this paper we draw on decomposition methods from optimization theory, specifically the Alternating Directions Method of Multipliers (ADMM), to develop efficient distributed algorithms for LP decoding. The key enabling technical result is a "two-slice" characterization of the geometry of the parity polytope, which is the convex hull of all codewords of a single parity check code. This new characterization simplifies the representation of points in the polytope. Using this simplification, we develop an efficient algorithm for Euclidean norm projection onto the parity polytope. This projection is required by ADMM and allows us to use LP decoding, with all its theoretical guarantees, to decode large-scale error correcting codes efficiently. We present numerical results for LDPC codes of lengths more than 1000. The waterfall region of LP decoding is seen to initiate at a slightly higher signal-to-noise ratio than for sum-product BP, however an error floor is not observed for LP decoding, which is not the case for BP. Our implementation of LP decoding using ADMM executes as fast as our baseline sum-product BP decoder, is fully parallelizable, and can be seen to implement a type of message-passing with a particularly simple schedule.

研究动机与目标

• 克服标准LP求解器在大码长LDPC码上的可扩展性限制。
• 开发一种分布式、可并行化的译码算法，在保持LP译码理论保证的同时实现实际计算效率。
• 通过利用LP译码更强的收敛特性，消除置信传播译码中固有的误码平台。
• 使LP译码在磁记录和光纤通信网络等高可靠性应用场景中具备实际部署可行性。
• 提供一种可扩展的框架，用于收紧LP松弛，以逼近最大似然性能。

提出的方法

• 作者提出了一种奇偶多面体的‘双切片’表征方式，即单个奇偶校验码中码字的凸包，以简化点的表示。
• 该表征方式使得能够设计一种高效的类似注水算法，用于计算到奇偶多面体的欧几里得范数投影，这是ADMM中的关键操作。
• 将ADMM算法应用于LP译码问题，将其转化为一种具有简单更新策略的分布式消息传递协议。
• 引入超松弛（ρ ∈ [1, 2)），在不牺牲收敛保证的前提下加速收敛过程。
• 采用一致性ADMM公式化框架，其中变量节点与奇偶校验节点通过交换消息，迭代优化估计值。
• 由于其分布式特性，该框架支持在并行计算架构和硬件兼容架构上高效实现。

实验结果

研究问题

• RQ1 ADMM能否在保持理论保证的前提下，被有效适配于大规模LDPC码的LP译码？
• RQ2 奇偶多面体的新型几何表征是否能够实现快速且精确的投影，从而突破ADMM译码中的关键性能瓶颈？
• RQ3 所提出的基于ADMM的LP译码器是否能消除置信传播译码中观察到的误码平台？
• RQ4 基于ADMM的LP译码器能否在保持完全可并行化的同时，实现与置信传播相当的译码速度？
• RQ5 在LP译码背景下，超松弛参数对收敛速度和译码性能有何影响？

主要发现

• 基于ADMM的LP译码器执行时间与基准和积BP译码器相近，实现了相当的译码效率。
• 该译码器成功消除了置信传播译码中观察到的误码平台，展现出更优的高信噪比性能。
• LP译码的误码性能“瀑布区”起始点略高于BP，但未观察到误码平台。
• 采用ρ = 1.9的超松弛策略，可将平均译码时间减少高达50%，且未影响误码率性能。
• 双切片表征使得能够设计一种快速的注水式算法，实现对奇偶多面体的欧几里得投影，这对ADMM的收敛至关重要。
• 该方法完全可并行化，且可部署于硬件兼容架构，适用于实际高可靠性应用场景。