[論文レビュー] Learning to Decode: Reinforcement Learning for Decoding of Sparse Graph-Based Channel Codes

Salman Habib, Allison Beemer+1 more|arXiv (Cornell University)|Oct 12, 2020

Error Correcting Code Techniques被引用数 5

ひとこと要約

本稿では、信念伝搬（BP）デコーディングにおけるチェックノード（CN）スケジューリングを最適化するため、Q学習を用いた強化学習（RL）ベースのデコーディングフレームワークを、短〜中程度長のLDPCコードに対して提案する。CN選択を、状態空間の複雑さを低減するためのグラフに由来するクラスタリングを伴うマルチアームバンディット問題としてモデル化することで、フラッディング、MGI、ノード単位スケジューリング（NS）方式と比較して、優れたビット誤り率（BER）性能と顕著に低いメッセージパッシング複雑度を達成する。

ABSTRACT

We show in this work that reinforcement learning can be successfully applied to decoding short to moderate length sparse graph-based channel codes. Specifically, we focus on low-density parity check (LDPC) codes, which for example have been standardized in the context of 5G cellular communication systems due to their excellent error correcting performance. These codes are typically decoded via belief propagation iterative decoding on the corresponding bipartite (Tanner) graph of the code via flooding, i.e., all check and variable nodes in the Tanner graph are updated at once. In contrast, in this paper we utilize a sequential update policy which selects the optimum check node (CN) scheduling in order to improve decoding performance. In particular, we model the CN update process as a multi-armed bandit process with dependent arms and employ a Q-learning scheme for optimizing the CN scheduling policy. In order to reduce the learning complexity, we propose a novel graph-induced CN clustering approach to partition the state space in such a way that dependencies between clusters are minimized. Our results show that compared to other decoding approaches from the literature, the proposed reinforcement learning scheme not only significantly improves the decoding performance, but also reduces the decoding complexity dramatically once the scheduling policy is learned.

研究の動機と目的

• 従来の信念伝搬における高いデコーディング複雑度と最適でない収束性を解決すること。
• 強化学習を用いて短〜中程度長のLDPCコードのデコーディング性能を向上させること。
• グラフ構造に基づくチェックノードのクラスタリングにより、大規模な状態空間におけるQ学習の計算負荷を軽減すること。
• 既存の反復デコーディング方式を上回るスケーラブルで低複雑度のデコーディングフレームワークを構築すること。
• ノード単位スケジューリングとは異なり、リアルタイムの残差計算を必要としない、リアルタイムで適応可能なスケジューリングを可能とすること。

提案手法

• 各チェックノードをマルチアームバンディット設定における「アーム」として扱う、マルコフ決定過程（MDP）としてCNスケジューリングプロセスをモデル化する。
• Q学習を適用して行動価値関数を推定し、収束速度とデコーディング性能を最大化するCNを選択する。
• 相互に依存性が最小限であるクラスタにチェックノードを分割することで、状態空間次元を低減するグラフに由来するクラスタリング手法を提案する。
• 学習効率と性能を向上させるために、内部の短いサイクルを最大化するようにクラスタ構造を最適化する。
• 学習済みの最適スケジューリング方策を用いて、信念伝搬におけるメッセージパッシングをガイドし、総メッセージ数を最小化する。
• MQC（Q値の数を最大化）、MQR（Q値報酬を最大化）、MQO（最適Q値方策）の3つのバリエーションを実装し、MQOが最も優れた結果を示した。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、LDPCコードの信念伝搬におけるチェックノードスケジューリングを効果的に最適化できるか？
• RQ2 実用的なLDPCデコーディングにおいて、Q学習の指数的増加する状態空間複雑度をどのように低減できるか？
• RQ3 チェックノードのグラフに由来するクラスタリングは、学習効率とデコーディング性能を向上させるか？
• RQ4 RLベースのスケジューリングは、BERおよびメッセージパッシング複雑度の観点で、従来のフラッディング方式やノード単位スケジューリングを上回るか？
• RQ5 リアルタイムの残差計算を排除しながら、性能を維持または向上させることは可能か？

主な発見

• 提案されたRLベースのデコーディング方式のMQOバージョンは、(3,6)-正則および(3,7) AB-LDPCコードの両方において、全SNRレベルで最良のBER性能を達成する。
• SNR 2.5 dBで、MQOは(3,6)-正則コードでは平均163のCNからVNへのメッセージ数を、(3,7) AB-LDPCコードでは208にまで低減し、フラッディングおよびNS方式を上回る。
• NS方式と比較して、RLベースのアプローチはリアルタイムの残差計算の必要性を排除し、メッセージパッシング複雑度を顕著に低減する。
• サイクル最大化を伴う提案されたグラフに由来するクラスタリング手法は、学習効率を向上させ、最適化されていないクラスタリングよりも優れたデコーディング性能をもたらす。
• 高SNRにおいて、MQO方式はフラッディング方式と比較してメッセージ数を平均35％削減しつつ、BERを低く抑える。
• RLベースのフレームワークは、より速い収束と低遅延デコーディングを可能とし、低遅延通信システムに適している。