[論文レビュー] Turbo Autoencoder: Deep learning based channel codes for point-to-point communication channels

Yihan Jiang, Hyeji Kim+4 more|arXiv (Cornell University)|Nov 8, 2019

Wireless Signal Modulation Classification被引用数 84

ひとこと要約

TurboAE は、エンドツーエンドで学習可能なエンコーダー-デコーダーシステムであり、中程度のブロック長で標準AWGNチャネルに対してほぼ最先端と同等の信頼性を達成し、非標準チャネルでは従来コードを上回る。

ABSTRACT

Designing codes that combat the noise in a communication medium has remained a significant area of research in information theory as well as wireless communications. Asymptotically optimal channel codes have been developed by mathematicians for communicating under canonical models after over 60 years of research. On the other hand, in many non-canonical channel settings, optimal codes do not exist and the codes designed for canonical models are adapted via heuristics to these channels and are thus not guaranteed to be optimal. In this work, we make significant progress on this problem by designing a fully end-to-end jointly trained neural encoder and decoder, namely, Turbo Autoencoder (TurboAE), with the following contributions: ($a$) under moderate block lengths, TurboAE approaches state-of-the-art performance under canonical channels; ($b$) moreover, TurboAE outperforms the state-of-the-art codes under non-canonical settings in terms of reliability. TurboAE shows that the development of channel coding design can be automated via deep learning, with near-optimal performance.

研究の動機と目的

• 手作りコードではなくエンドツーエンドの深層学習を用いてチャネル符号化を改善する動機づけ。
• ターボに着想を得たインターリービングと反復デコードを備えたニューラルエンコーダーとデコーダーを設計する。
• 中程度のブロック長で AWGN に対する容量近似コードと対比した TurboAE の性能を示す。
• 手作りコードが苦戦する非 AWGN チャネルでの TurboAE の利点を示す。

提案手法

• ターボコードに着想を得たインターリーブされたCNNベースのエンコーダと反復CNNベースのデコーダを備えた TurboAE を提案する。
• インターリーバとデインターリーバを使用してコードに長距離メモリを作り出す。
• 交互最適化と慎重に選択したトレーニングSNRでエンコーダーとデコーダーをエンドツーエンドで訓練する。
• 正規化と STE を二項ケースに適用した TurboAE-continuous（ソフトパワー制約）と TurboAE-binary（ハードパワー制約）バリアントを導入する。
• パワー制約を課した符号ブロックと、訓練を安定化させるためのバッチ正規化に類似した戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドで訓練されたニューラルエンコーダ/デコーダは、中程度のブロック長でAWGNチャネルに対して最先端のチャネルコードに近づく、あるいは超えることができるのか。
• RQ2 インターリーブと反復デコードを備えたニューラルコードは、非標準チャネルモデル下で CNN-AE や従来コードを上回るのか。
• RQ3 安定した TurboAE 最適化のために必要なトレーニング戦略（交互訓練、バッチサイズ、ノイズレベル）は何か。
• RQ4 ソフトパワー制約とハードパワー制約が性能と訓練ダイナミクスに与える影響はどのようか。
• RQ5 チャネルモデルが IID Gaussian ノイズから外れる場合に TurboAE は利点を提供できるか。

主な発見

• TurboAE は、中程度のブロック長（K ~ 100）で標準的な AWGN チャネルに対して最先端の性能に近づく。
• TurboAE は、非標準チャネル下で、ファインチューニング後の信頼性の点で最先端コードを上回る。
• インターリーヴィングは、CNN-AE および非インターリーブド varianteよりもブロック長の利得と BER 性能を大幅に改善する。
• TurboAE-continuous および TurboAE-binary は、異なるパワー制約の領域で競争力のある性能を示し、安定性のためには binary が事前訓練を必要とする。
• CNN ベースの TurboAE 設計は、RNN ベースのアプローチよりも高速かつ安定して訓練され、コードのスケーラブルな学習を可能にする。