[論文レビュー] Learning to Decode Protograph LDPC Codes

Jincheng Dai, Kailin Tan+5 more|arXiv (Cornell University)|Feb 7, 2021

Error Correcting Code Techniques参考文献 26被引用数 5

ひとこと要約

本稿では、符号のリフト構造を活用して、符号長にかかわらず定常なデコーダー複雑度を維持するパラメータ共有ニューラルミニマムサム（MS）デコーダーを提案する。エッジタイプごとに学習可能な重みとバイアスを適用し、イテレーションごとのグリーディトレーニング手法を用いることで、従来のMSデコーディングに比べて最大1 dBのSNRゲインを達成しつつ、わずかに複雑度が増加するが、一部の短い符号では和積アルゴリズムをも上回る性能を発揮する。

ABSTRACT

The recent development of deep learning methods provides a new approach to optimize the belief propagation (BP) decoding of linear codes. However, the limitation of existing works is that the scale of neural networks increases rapidly with the codelength, thus they can only support short to moderate codelengths. From the point view of practicality, we propose a high-performance neural min-sum (MS) decoding method that makes full use of the lifting structure of protograph low-density parity-check (LDPC) codes. By this means, the size of the parameter array of each layer in the neural decoder only equals the number of edge-types for arbitrary codelengths. In particular, for protograph LDPC codes, the proposed neural MS decoder is constructed in a special way such that identical parameters are shared by a bundle of edges derived from the same edge-type. To reduce the complexity and overcome the vanishing gradient problem in training the proposed neural MS decoder, an iteration-by-iteration (i.e., layer-by-layer in neural networks) greedy training method is proposed. With this, the proposed neural MS decoder tends to be optimized with faster convergence, which is aligned with the early termination mechanism widely used in practice. To further enhance the generalization ability of the proposed neural MS decoder, a codelength/rate compatible training method is proposed, which randomly selects samples from a set of codes lifted from the same base code. As a theoretical performance evaluation tool, a trajectory-based extrinsic information transfer (T-EXIT) chart is developed for various decoders. Both T-EXIT and simulation results show that the optimized MS decoding can provide faster convergence and up to 1dB gain compared with the plain MS decoding and its variants with only slightly increased complexity. In addition, it can even outperform the sum-product algorithm for some short codes.

研究の動機と目的

• 深層学習に基づくLDPCデコーダーのスケーラビリティの問題に対処する。これは符号長が増加するにつれて複雑度が急激に増加するためである。
• プロトグラフLDPC符号のミニマムサムデコーディングの性能を、ベイズ更新により良い近似を可能にする学習可能なパラメータを導入することで向上させる。
• さまざまな符号長およびレートにわたる一般化を可能にしつつ、トレーニングおよびデコーディングの複雑度を低く保つ。
• 長距離符号向けの深層ニューラルデコーダーのトレーニングにおける勾配消失問題を、新しい段階ごとのトレーニング戦略により克服する。
• 同じベースグラフから得られる多様な符号のセットを用いたトレーニングにより、一般化性能を向上させる。

提案手法

• ミニマムサムアルゴリズムのメッセージ更新式に学習可能な重みとバイアスを追加することで、ニューラルミニマムサムデコーダーを設計し、和積アルゴリズムへのより良い近似を可能にする。
• パラメータ共有機構により、ベースグラフ内の同じエッジタイプから導出されるすべてのエッジが同一の重みとバイアスを共有する。これにより、複雑度が符号長に依存しなくなる。
• イテレーションごとのグリーディトレーニング手法を提案する。パラメータを段階的に最適化することで、収束性が向上し、勾配消失問題を回避する。
• 符号長／レート互換トレーニング戦略を採用し、リフトされた符号の族からランダムにサンプリングすることで、符号パラメータにわたる一般化を向上させる。
• トレースベースの外挿情報伝達（T-EXIT）チャートを考案し、デコーダーの収束性および性能を分析・検証する。
• 標準NMSおよびOMSデコーディングと同等の複雑度を維持するため、ハードウェアにやさしい実装を可能にする。

実験結果

リサーチクエスチョン

• RQ1 符号長が変化しても複雑度が一定を保ちつつ、従来のMSデコーディングを上回る性能を達成できるニューラルミニマムサムデコーダーを設計できるか？
• RQ2 プロトグラフLDPC符号におけるリフトされたエッジにわたるパラメータ共有は、モデルサイズおよびトレーニング複雑度をどのように低減できるか？
• RQ3 イテレーションごとのトレーニング手法は、長距離LDPC符号向けの深層ニューラルデコーダーにおける勾配消失問題を効果的に緩和できるか？
• RQ4 MSデコーダー内の学習可能なパラメータは、タンナーグラフの近似誤差および短いサイクル効果をどれほど補償できるか？
• RQ5 提案されたニューラルMSデコーダーは、特に短い符号において和積アルゴリズムを上回る性能を示すか？

主な発見

• 提案されたニューラルMSデコーダーは、さまざまな符号長において、標準MS、正規化MS、オフセットMSデコーディングに比べ、最大1 dBのSNRゲインを達成する。
• 短い符号では、ニューラルMSデコーダーが和積アルゴリズムを上回り、デコーディング近似誤差の低減において優れた性能を示す。
• デコーダーの複雑度はNMSおよびOMSと同等であり、ハードウェア実装に非常に適している。
• イテレーションごとのトレーニング手法により、収束が速くなり、勾配消失問題が回避され、トレーニングの安定性が向上する。
• パラメータ共有機構により、デコーダーのサイズがエッジタイプの数にのみ依存するため、符号長に依存せず、長距離符号へのスケーラビリティが可能になる。
• T-EXITチャート分析により、収束が速く、外挿情報伝達が向上していることが確認され、デコーダーの向上した反復的デコーディング動作が検証された。