[論文レビュー] Scaling Deep Learning-based Decoding of Polar Codes via Partitioning

Sebastian Cammerer, Tobias Gruber+2 more|arXiv (Cornell University)|Feb 22, 2017

Error Correcting Code Techniques参考文献 14被引用数 16

ひとこと要約

本稿では、従来の信念伝播（BP）デコーダーの部分的構成要素を訓練済みのニューラルネットワークに置き換えることで、スケーラブルで反復処理が不要かつ並列化可能なデコーディングを実現する、分割型ニューラルネットワークデコーディング（PNN）手法を提案する。この手法は、符号長が長い場合でも、符号長に伴う訓練複雑度の増大を防ぐために部分ブロックに分割することで、訓練の複雑度を制限し、MAPおよびSCLデコーディングに近い誤りビットレート（BER）性能を達成するとともに、大幅な遅延低減を実現する。

ABSTRACT

The training complexity of deep learning-based channel decoders scales exponentially with the codebook size and therefore with the number of information bits. Thus, neural network decoding (NND) is currently only feasible for very short block lengths. In this work, we show that the conventional iterative decoding algorithm for polar codes can be enhanced when sub-blocks of the decoder are replaced by neural network (NN) based components. Thus, we partition the encoding graph into smaller sub-blocks and train them individually, closely approaching maximum a posteriori (MAP) performance per sub-block. These blocks are then connected via the remaining conventional belief propagation decoding stage(s). The resulting decoding algorithm is non-iterative and inherently enables a high-level of parallelization, while showing a competitive bit error rate (BER) performance. We examine the degradation through partitioning and compare the resulting decoder to state-of-the-art polar decoders such as successive cancellation list and belief propagation decoding.

研究の動機と目的

• 符号長の増大に伴い指数関数的に増大する訓練複雑度のため、深層学習ベースの極性符号デコーディングのスケーラビリティに課題が生じるという点を解決すること。
• 全符号帳学習に代えて、BPデコーダーの部分的構成要素を訓練済みのニューラルネットワークに置き換えることで、より長い極性符号の実用的デコーディングを可能にすること。
• モジュール型の部分ブロック処理により、反復処理が不要で、並列化が可能なアーキテクチャを実現することで、デコーディング遅延を低減すること。
• 部分ブロックに分割することと、部分ブロック内のニューラルネットワークの非最適な訓練による性能劣化を定量的に評価すること。
• 主な性能劣化要因が分割構造に起因することを示し、今後のより優れたニューラルネットワークアーキテクチャの導入により、スケーラビリティが向上することを示すこと。

提案手法

• 極性符号のエンコードグラフを小さな部分ブロックに分割し、各部分ブロックに対して独立に訓練された専用のニューラルネットワークデコーダー（NND）を適用することで、MAP性能に近づける。
• 部分ブロック間は従来の信念伝播（BP）ステージで接続され、全体のデコーディング構造を維持しつつ、並列処理を可能にする。
• 反復ステージをNNDに置き換えることで、非反復型デコーディングアーキテクチャを実現し、同期ステップと遅延を低減する。
• 複数のSNR値において、SCLデコーディングとの性能比較に、正規化誤差（NE）指標を用いる。
• 各NNDを小さな部分ブロック（例：16ビット）に制限することで、全符号帳学習を回避し、訓練複雑度を低減する。
• NNDにおける一般化能力のおかげで、未学習の符号語に対しても推論が可能であり、より長い符号長へのスケーラビリティを実現できる。

実験結果

リサーチクエスチョン

• RQ1 全デコーダーの学習ではなく部分的構成要素の置き換えによって、深層学習ベースの極性符号デコーディングを実用的な符号長にスケーリング可能か？
• RQ2 小さな部分ブロックに符号を分割することで、ニューラルネットワークデコーディングにどのような性能劣化が生じるか？
• RQ3 提案手法の分割型ニューラルネットワーク（PNN）デコーダーは、SCLやBPといった最先端のデコーダーと比較して、BERおよび遅延の点でどの程度の性能を示すか？
• RQ4 性能劣化の主な要因が、非最適なニューラルネットワーク訓練にあるのか、それとも分割構造に起因するのか、その程度はいかほどか？
• RQ5 提案手法は、競争力のあるBER性能を維持しつつ、低遅延で非反復型デコーディングを実現可能か？

主な発見

• 提案されたPNNデコーダーは、逐次キャンセレーションリスト（SCL）および信念伝播（BP）デコーディングと同等のBER性能を達成し、さまざまなSNRレベルにおいて正規化誤差（NE）が1に近い値を示す。
• 誤差寄与要因の個別分析により、性能劣化の主な要因は分割構造（λ_part）であり、非最適なニューラルネットワーク訓練（λ_NN）によるものではないことが示された。
• 符号長N=1024で16ビットの部分ブロックを用いた場合、分割数が増えるにつれて正規化誤差NE_PNCLが増加する傾向にあり、スケーラビリティと性能のトレードオフが生じていることが示された。
• 遅延は顕著に低減された：PNNデコーダーはO(N/N_P * N_H + N/N_P * log(N/N_P))の同期ステップを要するが、SCLはO(N log N)、BPはO(log N)である。
• PNNアーキテクチャはワンショットで非反復型デコーディングを可能にし、並列処理の可能性が非常に高く、GPU、FPGA、ASICにおけるハードウェア実装に適している。
• 将来のスケーラビリティは、より大きな部分ブロックを扱える改善されたニューラルネットワークアーキテクチャの導入により期待できる。