[論文レビュー] DeepTurbo: Deep Turbo Decoder

Yihan Jiang, Hyeji Kim+4 more|arXiv (Cornell University)|Mar 6, 2019

Wireless Signal Modulation Classification参考文献 42被引用数 13

ひとこと要約

DeepTurbo は、BCJR アルゴリズムの数学的構造を事前に知らなくても、標準の Turbo デコーダーや NeuralBCJR デコーダーより優れた性能を達成できる、エンド・ツー・エンドに学習可能なニューラル・デコーダーを提案する。BCJR に由来しない独自のアーキテクチャを採用し、復調イテレーション間で共有・非共有パラメータを併用することで、誤りフロアの低減、非AWGNチャネルにおける耐性向上、復調イテレーション数の削減を実現しながらも、高い信頼性と適応性を維持している。

ABSTRACT

Present-day communication systems routinely use codes that approach the channel capacity when coupled with a computationally efficient decoder. However, the decoder is typically designed for the Gaussian noise channel and is known to be sub-optimal for non-Gaussian noise distribution. Deep learning methods offer a new approach for designing decoders that can be trained and tailored for arbitrary channel statistics. We focus on Turbo codes and propose DeepTurbo, a novel deep learning based architecture for Turbo decoding. The standard Turbo decoder (Turbo) iteratively applies the Bahl-Cocke-Jelinek-Raviv (BCJR) algorithm with an interleaver in the middle. A neural architecture for Turbo decoding termed (NeuralBCJR), was proposed recently. There, the key idea is to create a module that imitates the BCJR algorithm using supervised learning, and to use the interleaver architecture along with this module, which is then fine-tuned using end-to-end training. However, knowledge of the BCJR algorithm is required to design such an architecture, which also constrains the resulting learned decoder. Here we remedy this requirement and propose a fully end-to-end trained neural decoder - Deep Turbo Decoder (DeepTurbo). With novel learnable decoder structure and training methodology, DeepTurbo reveals superior performance under both AWGN and non-AWGN settings as compared to the other two decoders - Turbo and NeuralBCJR. Furthermore, among all the three, DeepTurbo exhibits the lowest error floor.

研究の動機と目的

• BCJR アルゴリズムの数学的構造に依存しないニューラル・トゥーリングデコーダーの設計により、より高い柔軟性と性能を実現すること。
• 復調の信頼性、非ガウス雑音への耐性、多様なチャネル環境への適応性の向上。
• 特に高SNR領域で顕著に現れる標準の Turbo デコーダーにおける誤りフロアの低減。
• 少ない復調イテレーションで高い精度を達成することで、収束を高速化すること。
• 再訓練を一切行わずに、長block長への一般化を可能とすること。

提案手法

• BCJRの事前学習やアーキテクチャの模倣を回避する、完全にエンド・ツー・エンドに学習可能なニューラル構造を提案。
• 復調イテレーション間で非共有パラメータを有する学習可能なデコーダー構造を採用し、段階別に最適化された復調関数を実現。
• 事後確率の次元 $ K $ をハイパーパrameterとして採用し、速度と性能の両面で最適な $ K=5 $ を経験的に特定。
• 教師あり学習により、特定のブロック長（例：$ L=100 $）でラベル付きコード語を用いてモデルをエンド・ツー・エンドに学習。
• 短いブロック長で初期化し、長いブロック長（例：$ L=1000 $）で微調整するトランスファー学習を適用することで、一般化性能を向上。
• BCJRの数学的構造に依存しない独自の学習手法を採用し、任意のチャネル統計に適応可能にしている。

実験結果

リサーチクエスチョン

• RQ1 BCJR アルゴリズムの知識なしにエンド・ツー・エンドに学習可能なニューラル・トゥーリングデコーダーは、優れた性能を達成できるか？
• RQ2 BCJR に由来しないニューラルアーキテクチャは、標準の Turbo デコーダーや NeuralBCJR デコーダーと比較して誤りフロアを低減できるか？
• RQ3 エンド・ツー・エンドに学習されたデコーダー（例：DeepTurbo）は、再訓練なしに長block長に一般化できるか？
• RQ4 T分布やレーダー雑音を含む非AWGNチャネルにおいて、DeepTurbo はヒューリスティック法やBCJRベース手法と比較してどのように性能を発揮するか？
• RQ5 標準の Turbo デコーダーと同等またはそれ以上の BER/BLER 性能を、少ない復調イテレーションで達成できるか？

主な発見

• DeepTurbo は、Turbo-757 および Turbo-LTE コードの両方において、高SNR領域で標準の Turbo デコーダーや NeuralBCJR デコーダーを上回り、誤りフロアが低いことが確認された。
• SNR ≥ 0.5 dB の領域では、DeepTurbo は NeuralBCJR よりも優れたビット誤り率（BER）およびブロック誤り率（BLER）を達成しており、NeuralBCJR は AWGN において Turbo の性能に一致している。
• DeepTurbo の中間層（i=2）でも、2イテレーションの Turbo デコーダーを上回る性能を達成しており、情報抽出がより迅速であることが示された。
• 事後確率次元 $ K=5 $ の場合、学習がより速く収束し、$ K<10 $ の範囲で最適な性能を達成した。
• $ L=100 $ で学習した DeepTurbo は $ L=1000 $ に一般化すると性能が著しく低下するが、微調整により性能が回復するため、長block長では再訓練の必要があることが示された。
• 非AWGNチャネル（ATNおよびレーダー雑音）において、非共有パラメータのおかげで適応性が向上し、DeepTurbo は NeuralBCJR を著しく上回った。