[論文レビュー] Learned Decimation for Neural Belief Propagation Decoders

Andreas Buchberger, Christian Häger+3 more|arXiv (Cornell University)|Nov 4, 2020

Error Correcting Code Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、リストベースのデシメーションと学習済みデシメーションを組み合わせることでNBP性能を向上させる二段階のデコードフレームワーク、Neural Belief Propagation with Decimation (NBPD) を提案する。信頼性に基づいてどの変数ノードを固定するかをニューラルネットワークで逐次決定することで、標準NBPより0.75 dBの性能向上を達成し、(128,64) LDPCコードにおいてブロック誤り率 $10^{-4}$ の条件下で最大尤度デコードから1 dB以内の性能を達成する。

ABSTRACT

We introduce a two-stage decimation process to improve the performance of neural belief propagation (NBP), recently introduced by Nachmani et al., for short low-density parity-check (LDPC) codes. In the first stage, we build a list by iterating between a conventional NBP decoder and guessing the least reliable bit. The second stage iterates between a conventional NBP decoder and learned decimation, where we use a neural network to decide the decimation value for each bit. For a (128,64) LDPC code, the proposed NBP with decimation outperforms NBP decoding by 0.75 dB and performs within 1 dB from maximum-likelihood decoding at a block error rate of $10^{-4}$.

研究の動機と目的

• 短いLDPCコードのニューラルベイズプロパゲーション(NBP)デコードの性能を向上させること、特に吸収集合によって引き起こされる残余誤りフロアを解消すること。
• リストベースと学習済みデシメーションを組み合わせたハイブリッドデシメーション戦略により、NBPと最大尤度(ML)デコードのギャップを縮小すること。
• 信頼性の高い変数ノードを選択してハードデシジョンを下すために、ニューラルネットワークを用いた学習可能なデシメーション機構を構築すること。
• 提案されたNBPDデコーダが、従来のNBPに比べて複雑性の増加を抑えつつ、ほぼML性能を達成できることを示すこと。

提案手法

• 本手法は二段階のデシメーションプロセスを採用する。まず、信頼性が最も低い変数ノードについて $+\infty$ と $-\infty$ の両方のデシメーションを試み、候補となるコドワードのリストを生成するリストベースの段階。
• 次に、信頼性が最も低い変数ノードの対数尤度比(LLR)に基づいて、最適な符号を予測するためのフィードフォワードニューラルネットワークを用いる学習済みデシメーション段階。
• 離散的なデシメーション決定を扱うために、バックプロパゲーションとストレートスラッシュ推定器(STE)を用いてネットワークを学習し、2層の隠れ層にReLU活性化関数、出力層に線形活性化関数を採用。
• 各デシメーションステップの後には、$\ell_{\mathsf{max}}$ 回の反復を実行する従来のNBPデコーダを実行し、デシメーションとデコードを繰り返すイテレーティブなループを形成。
• 評価はCCSDS標準に準拠した(128,64) LDPCコードを用い、Adam最適化アルゴリズム、バッチサイズ128、学習率0.001で学習を実施。
• 複雑性は合計演算回数とメモリ使用量で測定され、NBPDデコーダの複雑性はデシメーションステップ数 $n_{\mathsf{D}}$ とともに指数関数的に増加する。

実験結果

リサーチクエスチョン

• RQ1 学習済みデシメーションは、短いLDPCコードにおけるニューラルベイズプロパゲーションと最大尤度デコードの性能ギャップを顕著に縮小できるか？
• RQ2 リストベースと学習済みデシメーションを組み合わせることで、標準NBPやBPと比較して収束性と誤り訂正性能がどのように向上するか？
• RQ3 学習済みデシメーションステップ数を増加させた際の、性能向上と計算複雑性のトレードオフは何か？
• RQ4 正しいコドワードの事前知識がなくても、LLRの信頼性に基づいて最適な変数ノードを選択してデシメーションするためのニューラルネットワークは、効果的に学習できるか？

主な発見

• (128,64) LDPCコードにおいて、4ステップの学習済みデシメーションを用いたNBPDは、ブロック誤り率 $10^{-4}$ の条件下で最大尤度デコードから1 dB未満のギャップにまで縮小する。
• 提案されたNBPDデコーダは、50反復の標準NBPデコーダに対して0.75 dBの性能向上を達成し、顕著な性能向上を示す。
• 1ステップの学習済みデシメーションを追加した場合(NBPD(10,4,1))は、NBP(50)より0.3 dBの向上を達成するが、4ステップではさらに0.4 dBの追加向上を達成する。
• NBPDの複雑性はデシメーションステップ数に伴い指数関数的に増加し、NBPD(10,4,4)はNBP(50)の演算回数で18.2倍の複雑性を示す。
• リストベースのデシメーション段階のみ(NBPD(10,4,0))では、5.4倍の複雑性増加を伴いながらも、NBP(50)に対して僅か0.4 dBの向上にとどまるため、性能向上には学習済みデシメーションが不可欠であることが示される。
• NBPとBPの性能は50反復で収束することが確認され、これ以上の反復では誤り率が改善されないため、ML性能に近づくためにはNBPに代わる戦略（例：デシメーション）の導入が不可欠である。