[論文レビュー] Deep Learning-Aided Trainable Projected Gradient Decoding for LDPC Codes

Tadashi Wadayama, Satoshi Takabe|arXiv (Cornell University)|Jan 15, 2019

Error Correcting Code Techniques参考文献 8被引用数 6

ひとこと要約

本稿では、ステップサイズ、ソフトネス、ペナルティ係数などの内部パラメータを最適化するために深層学習を活用する、トレーニング可能なプロジェクション勾配（TPG）デコーディングアルゴリズムをLDPC符号に対して提案する。デコーディングプロセスを微分可能で多層構造に展開することにより、バックプロパゲーションおよび確率的勾配降下法によるエンドツーエンド学習が可能となり、n=204の短長LDPC符号において、BER=10⁻⁵の条件下で、ベリーフプロパゲーション（BP）と比較して最大0.5 dBのSNRゲインを達成する。

ABSTRACT

We present a novel optimization-based decoding algorithm for LDPC codes that is suitable for hardware architectures specialized to feed-forward neural networks. The algorithm is based on the projected gradient descent algorithm with a penalty function for solving a non-convex minimization problem. The proposed algorithm has several internal parameters such as step size parameters, a softness parameter, and the penalty coefficients. We use a standard tool set of deep learning, i.e., back propagation and stochastic gradient descent (SGD) type algorithms, to optimize these parameters. Several numerical experiments show that the proposed algorithm outperforms the belief propagation decoding in some cases.

研究の動機と目的

• 低遅延M2Mおよび5Gアプリケーションにおける短長LDPC符号のデコーディングアルゴリズムを開発し、ベリーフプロパゲーションを上回ること。
• フィードフォワードニューラルネットワークに最適化されたハードウェアと互換性を持つデコーディング手法を設計し、行列-ベクトル演算における大規模並列処理および非線形プロジェクションを活用すること。
• バックプロパゲーションおよび確率的勾配降下法などの深層学習技術を用いて、非凸最適化パラメータ（ステップサイズ、ソフトネス、ペナルティ）を効果的に最適化すること。
• 複数回のデコーディング試行をランダム初期化で繰り返すことで、標準的なベリーフプロパゲーションを上回る性能向上が図られることを示すこと。

提案手法

• パリティーチェック制約を満たすためにペナルティ関数を用いることで、LDPCデコーディングを非凸最適化問題として定式化する。
• 勾配降下法による目的関数の最適化と、二値立方体[0,1]^nへのソフトプロジェクションの2段階の反復プロセスを採用する。
• デコーディングプロセスを深層ニューラルネットワークに類似した多層信号フロー図に展開し、微分可能トレーニングを可能にする。
• ラベル付きトレーニングデータを用いて、バックプロパゲーションおよび確率的勾配降下法により、ステップサイズ、ソフトネス、ペナルティ係数などの内部パラメータを最適化する。
• ソフトプロジェクション演算子は、実数値を[0,1]にマップするシグモイド型関数を適用し、そのソフトネスはトレーニング可能なパラメータで制御される。
• 多様な解軌道を探索し、誤り訂正性能を向上させるために、複数回のランダム初期化を用いたリスタートを実施する。

実験結果

リサーチクエスチョン

• RQ1 短長LDPC符号において、深層学習を支援する最適化ベースのデコーディングアルゴリズムは、ベリーフプロパゲーションを上回ることができるか？
• RQ2 プロジェクション勾配デコーディングアルゴリズムの内部パラメータは、バックプロパゲーションおよび確率的勾配降下法により効果的にチューニング可能か？
• RQ3 ランダム初期化と複数回のデコーディング試行（リスタート）の組み合わせは、非凸最適化において顕著なデコーディング性能向上をもたらすか？
• RQ4 このデコーディングアルゴリズムは、フィードフォワードニューラルネットワークに最適化されたハードウェアに効率的にマッピング可能か？

主な発見

• n=204の(3,6)-正則LDPC符号において、r_max=100のTPGデコーディングは、BER=10⁻⁵の条件下で、ベリーフプロパゲーションと比較して0.5 dBのSNRゲインを達成する。
• r_max=10のTPGデコーダーは、同じBERレベルでベリーフプロパゲーションと比較して0.2 dBのゲインを示し、リスタートの有効性を裏付ける。
• 正規化平方誤差は5〜15反復以内に約10⁻⁴に収束し、送信コードワードへの有効な収束が示された。
• n=504の場合にも、TPGデコーダーは高SNR領域でベリーフプロパゲーションを上回り、スケーラビリティを確認した。
• SNR=3.75 dBの条件下で、すべてのr_max値において平均して約30反復が要され、早期停止を用いた効率的な収束が示された。
• n=204では学習率0.005、n=504では学習率0.001で、Adam最適化手法を用いたトレーニングプロセスが、パラメータを適切にチューニングし、性能向上を達成した。