[論文レビュー] Using Deep Neural Networks to Predict and Improve the Performance of Polar Codes

Mathieu Léonardon, Vincent Gripon|arXiv (Cornell University)|May 11, 2021

Error Correcting Code Techniques参考文献 17被引用数 6

ひとこと要約

本稿では、極性符号の固定ビット列に基づいてフレーム誤り率（FER）を予測するニューラルネットワークを学習する深層学習フレームワークを提案する。訓練済みネットワークの勾配を用いた射影勾配降下法を適用することで、学習データ内の符号よりも低いFERを達成する最適化された固定ビット列を生成し、未学習の符号構成に対しても優れた性能を示している。

ABSTRACT

Polar codes can theoretically achieve very competitive Frame Error Rates. In practice, their performance may depend on the chosen decoding procedure, as well as other parameters of the communication system they are deployed upon. As a consequence, designing efficient polar codes for a specific context can quickly become challenging. In this paper, we introduce a methodology that consists in training deep neural networks to predict the frame error rate of polar codes based on their frozen bit construction sequence. We introduce an algorithm based on Projected Gradient Descent that leverages the gradient of the neural network function to generate promising frozen bit sequences. We showcase on generated datasets the ability of the proposed methodology to produce codes more efficient than those used to train the neural networks, even when the latter are selected among the most efficient ones.

研究の動機と目的

• 極性符号の固定ビット列からフレーム誤り率（FER）を予測する機械学習手法の開発。
• SCLデコーディングなどの実用的デコーディング条件下で、数学的近似に依存する従来の極性符号構成手法の限界を克服すること。
• ニューラルネットワークの勾配を用いて、学習済みデータセット内の符号よりも低いFERを達成する改善された固定ビット列を生成すること。
• モンテカルロシミュレーションを用いて、SCLデコーディング下での小規模（256,128）および大規模（1024,512）極性符号において、手法の妥当性を検証すること。

提案手法

• ガウス近似と密度伝搬を用いて生成された、固定ビット列とそのFERのペアからなるデータセットを用いて、深層ニューラルネットワークを学習する。
• 訓練済みニューラルネットワークを用いて、任意の固定ビット列のFERを予測し、完全なシミュレーションを実行せずにエンドツーエンドの性能推定を可能にする。
• 予測されたFERを最小化するように、ネットワークを微分可能プロキシとして扱い、固定ビット列を最適化するための射影勾配降下法を適用する。
• 予測FERの入力に対する勾配を用いて、反復的に入力を更新することで、新たな候補となる固定ビット列を生成する。
• 小規模（256,128）および大規模（1024,512）符号における最適な性能を得るために、ネットワークの深さ（L）、幅（H）、勾配ステップサイズ（µ）などのハイパーパrameterを固定する。
• 最良の性能を示した符号について、AFF3CTツールボックスを用いたモンテカルロシミュレーションにより、FERの向上を確認する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、固定ビット列のみに基づいて極性符号のフレーム誤り率（FER）を正確に予測できるか？
• RQ2 ニューラルネットワークの入力に対する勾配ベース最適化により、学習データを上回るFER性能を達成する固定ビット列を生成できるか？
• RQ3 提案手法は、ガウス近似や密度伝搬といった標準的手法で構成された符号よりも低いFERを持つ符号を発見できるか？
• RQ4 SCLデコーディング下において、特に異なる符号長やデコーディング条件に対して、本手法はどれほど頑健か？
• RQ5 ドロップアウト、バッチノーマライゼーション、ミックスアップといった標準的な深層学習正則化技術は、FER予測器の一般化性能や予測精度を向上させるか？

主な発見

• 訓練済みニューラルネットワークは、(1024,512)符号に対して平均誤差インflation（IOE）1.06、(256,128)符号に対してIOE 1.02を達成し、未学習データに対する高い予測信頼性を示した。
• 提案手法により、(1024,512)符号に対してFERが1.01e-5にまで低下する固定ビット列が生成され、学習データ内での最小FER（5.75e-5）を著しく下回った。
• (256,128)符号においては、競争力のある候補が得られたが、符号サイズが小さく、学習データに高密度に最適化されたシーケンスが含まれていたため、最良の学習例を大きく上回ることはできなかった。
• ドロップアウト、バッチノーマライゼーション、ミックスアップといった標準的手法はIOEに改善をもたらさなかった。これは、固定ビット列の離散的かつ組合せ的性質に起因すると考えられる。
• 本手法は、学習データに非常に最適化されたシーケンスが含まれていたとしても、ニューラルネットワークの入力に対する勾配ベース最適化により、学習データを上回る性能を持つ符号を発見できることを示した。
• ソースコードとデータセットは、https://github.com/brain-bzh/PolarCodesDNN で公開されており、再現性およびさらなる研究を促進している。