[論文レビュー] Boosting Learning for LDPC Codes to Improve the Error-Floor Performance

Hee-Youl Kwak, Dae-Young Yun+3 more|arXiv (Cornell University)|Oct 11, 2023

Error Correcting Code TechniquesComputer Science被引用数 3

ひとこと要約

本稿では、神経的最小和（NMS）デコーダーのための新しいトレーニングフレームワークを提案する。この手法は、最初のデコーダーからの補正不能な語に対して、ブースティング学習を用いてポストデコーダーを特化させることで、LDPC符号における誤りフロアを解消する。ブロック単位の再トレーニングスケジュールと動的重み共有を導入することで、ハードウェアコストを追加せずに、WiMAX、IEEE 802.11n、5G LDPC符号において、FER = 10⁻⁷まで近い誤りフロアフリーな性能を達成する。

ABSTRACT

Low-density parity-check (LDPC) codes have been successfully commercialized in communication systems due to their strong error correction capabilities and simple decoding process. However, the error-floor phenomenon of LDPC codes, in which the error rate stops decreasing rapidly at a certain level, presents challenges for achieving extremely low error rates and deploying LDPC codes in scenarios demanding ultra-high reliability. In this work, we propose training methods for neural min-sum (NMS) decoders to eliminate the error-floor effect. First, by leveraging the boosting learning technique of ensemble networks, we divide the decoding network into two neural decoders and train the post decoder to be specialized for uncorrected words that the first decoder fails to correct. Secondly, to address the vanishing gradient issue in training, we introduce a block-wise training schedule that locally trains a block of weights while retraining the preceding block. Lastly, we show that assigning different weights to unsatisfied check nodes effectively lowers the error-floor with a minimal number of weights. By applying these training methods to standard LDPC codes, we achieve the best error-floor performance compared to other decoding methods. The proposed NMS decoder, optimized solely through novel training methods without additional modules, can be integrated into existing LDPC decoders without incurring extra hardware costs. The source code is available at https://github.com/ghy1228/LDPC_Error_Floor .

研究の動機と目的

• 超信頼性な6GおよびxURLLCシステムにとって特に深刻な、LDPC符号における持続的誤りフロア現象に対処すること。
• ハードウェア複雑性を追加せずに、低複雑性のニューラル最小和（NMS）デコーダーの誤りフロア性能を向上させること。
• 深く反復的なNMSデコーダーにおける消失勾配や局所最適解の問題といったトレーニングの課題を克服すること。
• 高誤りフロア抑制性能を維持しながら、トレーニング可能な重みの数を最小限に抑えること。
• 提案されたNMSデコーダーを、追加の面積や遅延コストなしに、既存のLDPCシステムアーキテクチャに直接ハードウェア統合可能にすること。

提案手法

• 2つのニューラルデコーダーをキャスケード接続することでブースティング学習を適用する。最初のデコーダーはウォールフォール性能に注力し、2番目のデコーダーは最初のデコーダーが補正できない語にのみ特化してトレーニングされる。
• デコーディング反復をサブブロックに分割するブロック単位のトレーニングスケジュールを実装し、各段階で以前のブロックを再トレーニングすることで、消失勾配を回避し、局所最適解から脱出する。
• 反復間で重みをグループ化することで動的重み割り当てを導入し、パラメータ数を削減しながら、誤りフロアを引き起こすトラッピングセット関連の誤りパターンを是正するのに必要な多様性を維持する。
• 未満たされたチェックノードを主なトレーニング信号として使用し、それらに高い重みを割り当てることで、誤りフロアを引き起こすパターンの是正を強化する。
• Eb/N0 = 2–4 dBでビット誤り率が10⁻³の受信語をトレーニングサンプルとして用い、反復ごとのトレーニングスケジュールを採用してNMSデコーダーをトレーニングする。
• 未補正語の是正を強調する損失関数を最適化することで、ポストデコーダーが誤りフロアに起因するパターンに特化できるようにする。

Figure 2 : Illustration of the proposed weight sharing technique and comparison with other sharing techniques.

実験結果

リサーチクエスチョン

• RQ1 2段階のニューラルデコーダーアーキテクチャは、2番目のデコーダーを未補正語に特化させることで、LDPC符号における誤りフロアを効果的に抑制できるか？
• RQ2 50反復を超える深く反復的なNMSデコーダーにおいて、ブロック単位の再トレーニングスケジュールは消失勾配問題を緩和できるか？
• RQ3 最小限の異なる重み数で動的重み共有を実施しても、高い誤りフロア抑制性能を維持できるか？
• RQ4 提案されたトレーニング手法は、既存のポストプロセッシングおよびマルチ損失トレーニング方式と比較して、性能と複雑性の面で優れているか？
• RQ5 提案されたNMSデコーダーは、ハードウェア変更なしに、多様な標準LDPC符号（例：WiMAX、5G、IEEE 802.11n）において、どの程度まで近似的に誤りフロアフリーな性能を達成できるか？

主な発見

• 提案されたNMSデコーダーは、WiMAX、IEEE 802.11n、5G LDPC符号において、誤りフロアが顕著に見えない状態で、フレーム誤り率（FER）10⁻⁷を達成し、従来のNMSおよびポストプロセッシング方式を上回る性能を示す。
• 未補正語に特化してポストデコーダーをトレーニングすることで、誤りフロアが効果的に解消され、ベースラインNMSデコーダーと比較して、誤りフロア領域でのFERが複数桁低下する。
• ブロック単位の再トレーニングスケジュールにより、50反復のNMSデコーダーが正常にトレーニングされ、消失勾配を回避し、マルチ損失および標準的な反復別トレーニング法を上回る性能を発揮する。
• 本手法は、重みをたった3×ℓ（ℓ=50の場合130）にまで削減しており、例えばABC 2018の手法（676,800回の演算を要する）のような完全な重み多様性方式と比較して、メモリオーバーヘッドを顕著に低減しながら、優れた性能を維持する。
• MSデコーダーよりも1反復あたりの複雑性は高いが、総反復数が少なく、効率的な重み共有がなされているため、最新のポストプロセッシング方式（150反復）を上回る総合的複雑性を達成する。
• 本手法はハードウェア互換性があり、追加の面積や遅延コストなしに、既存のLDPCデコーダーアーキテクチャに直接統合可能であることが、表2の複雑性解析により確認された。