[論文レビュー] RNN Decoding of Linear Block Codes

Eliya Nachmani, Elad Marciano+2 more|arXiv (Cornell University)|Feb 24, 2017

Error Correcting Code Techniques参考文献 18被引用数 40

ひとこと要約

本稿では、線形ブロック符号のための再帰的ニューラルネットワーク（RNN）デコーダを提案し、パラメータ数を著しく削減しながら、フィードフォワードニューラルネットワークデコーダと同等の性能を達成した。RNNは、高SNR領域において、信念伝播（BP）よりも最大1.5 dBのビット誤り率（BER）性能向上を実現し、スパースなタンナーグラフでも性能向上を示した。サイクル削減済みのパリティ検査行列を用いる場合でも、最大1.0 dBの性能向上を達成した。

ABSTRACT

Designing a practical, low complexity, close to optimal, channel decoder for powerful algebraic codes with short to moderate block length is an open research problem. Recently it has been shown that a feed-forward neural network architecture can improve on standard belief propagation decoding, despite the large example space. In this paper we introduce a recurrent neural network architecture for decoding linear block codes. Our method shows comparable bit error rate results compared to the feed-forward neural network with significantly less parameters. We also demonstrate improved performance over belief propagation on sparser Tanner graph representations of the codes. Furthermore, we demonstrate that the RNN decoder can be used to improve the performance or alternatively reduce the computational complexity of the mRRD algorithm for low complexity, close to optimal, decoding of short BCH codes.

研究の動機と目的

• 短〜中程度長の線形ブロック符号に対する低複雑性かつ近似的に最適なデコーダの設計という未解決の課題に取り組む。
• 誤り補正性能が低い高密度パリティ検査行列（HDPC）符号における信念伝播（BP）の限界を克服する。
• フィードフォワードアーキテクチャと比較して、性能を維持または向上させつつ、ニューラルネットワークベースのデコーディングに必要なパラメータ数を削減する。
• スパースなタンナーグラフおよびサイクル削減済みパリティ検査行列におけるRNNベースのデコーディングの有効性を検討する。
• BCH符号のためのmRRDアルゴリズムにRNNデコーダを統合し、性能向上または計算複雑度の低減を図る。

提案手法

• 文献[11]のフィードフォワードニューラルネットワークデコーダアーキテクチャを再帰的ニューラルネットワーク（RNN）構造に変換し、反復的デコーディングプロセスを逐次的処理としてモデル化する。
• トレーニング中に学習されるソフトタンナーグラフ表現を用い、RNNが複数のデコーディング反復にわたりメッセージを精緻化することを学習する。
• 5回のBP反復に対応するunfold長5のマルチロス目的関数を用いてRNNをトレーニングし、反復的デコーディング動作を模倣する。
• BCH(63,36)符号のmRRD（修正再帰的リングデコーディング）アルゴリズムにおいて、標準のBP部品をRNNデコーダで置き換える。
• 変数ノードとチェックノード間のメッセージを再帰的に処理するパrameterized RNNアーキテクチャを用い、BPのメッセージスワッピングダイナミクスを模倣する。
• 対称性の仮定のもと、1つの符号語（例：すべて0）でRNNをトレーニングし、すべての符号語への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのデコーダは、フィードフォワードニューラルネットワークデコーダと同等のビット誤り率（BER）性能を達成しつつ、著しく少ないパラメータ数で実現可能か？
• RQ2 サイクル数が少ないスパースなパリティ検査行列に適用した場合、RNNデコーダは性能を維持または向上させるか？
• RQ3 RNNデコーダは、短いBCH符号のための既存の低複雑性デコーディングアルゴリズム（例：mRRD）の性能を向上させられるか？
• RQ4 標準のBPと比較して、RNNデコーダは計算複雑度をどの程度低減しつつ、BER性能を維持または向上できるか？
• RQ5 RNNベースのソフトタンナーグラフ学習は、サイクル削減済みパリティ検査行列でさえも、標準のBPを上回るデコーディング性能を実現できるか？

主な発見

• 高SNR領域において、RNNデコーダは信念伝播（BP）よりも最大1.5 dBのBER性能向上を達成し、文献[11]のより複雑なフィードフォワードニューラルネットワークデコーダと同等の性能を達成した。
• RNNアーキテクチャは、フィードフォワードアーキテクチャと比較して、パラメータ数を著しく削減し、低複雑性デコーディングを可能にした。
• サイクル削減済みパリティ検査行列では、RNNデコーダが標準BPよりも最大1.0 dBの性能向上を達成し、グラフのスパarsityおよびサイクル構造の低減に対して高い耐性を示した。
• BCH(63,36)符号において、mRRDアルゴリズムにRNNデコーダを統合した結果、m=1, 3, 5の各場合に、それぞれ0.6 dB, 0.3 dB, 0.2 dBの性能向上が得られた。
• 平均BP反復回数が8%増加したにもかかわらず、mRRD-RNNデコーダはmの値を小さくすることで同じ誤り率を達成し、計算複雑度のネット低下を実現した。
• トレーニング済みのRNNデコーダは、一般化が良好なソフトタンナーグラフを生成し、元のパリティ検査行列がよりスパースで短いサイクルが少ない状況でも性能向上を実現した。