[論文レビュー] TurboNet: A Model-driven DNN Decoder Based on Max-Log-MAP Algorithm for Turbo Code

Yunfeng He, Jing Zhang+2 more|arXiv (Cornell University)|May 25, 2019

Wireless Signal Modulation Classification参考文献 12被引用数 4

ひとこと要約

TurboNetは、反復的max-log-MAPアルゴリズムをアンフォールドし、そのコンponentsを学習可能な重みでパrameter化することで、モデル駆動型の深層ニューラルネットワーク（DNN）デコーダーを提案する。再定義された損失関数を用いて訓練されたTurboNetは、従来のmax-log-MAPデコーディングと比較して、より少ないパラメータ数と低い計算複雑性で優れたビット誤り率（BER）性能を達成し、さまざまなSNR条件においても良好な一般化性能を示す。

ABSTRACT

This paper presents TurboNet, a novel model-driven deep learning (DL) architecture for turbo decoding that combines DL with the traditional max-log-maximum a posteriori (MAP) algorithm. To design TurboNet, we unfold the original iterative structure for turbo decoding and replace each iteration by a deep neural network (DNN) decoding unit. In particular, the DNN decoding unit is obtained by parameterizing the max-log-MAP algorithm rather than replace the whole decoder with a black box fully connected DNN architecture. With the proposed architecture, the parameters can be efficiently learned from training data, and thus TurboNet learns to appropriately use systematic and parity information to offer higher error correction capabilities and decrease computational complexity compared with existing methods. Furthermore, simulation results prove TurboNet's superiority in signal-to-noise ratio generalizations.

研究の動機と目的

• データ駆動型の深層学習デコーダーが、ブラックボックスアーキテクチャのための高いパラメータ数と解釈不能性に起因する限界を解消すること。
• 長block長のTurboコードに対する完全結合DNNのトレーニングにおける計算非効率性と高次元化の問題を克服すること。
• max-log-MAPアルゴリズムのドメイン固有の知識を統合したモデル駆動型DNNアーキテクチャを構築し、デコーディング性能と一般化性能を向上させること。
• 従来のRNNベースまたは完全結合DNNデコーダーと比較して、パラメータ数と計算複雑性を低減しつつ、誤り訂正能力を維持または向上させること。

提案手法

• ターボデコーダーの反復的構造を、1反復ごとに独立したDNNデコーディングユニットとしてアンフォールドする。
• ヤコビアンのlog-sum-exp近似における対数演算を、学習可能な重みでパラメータ化することでmax-log-MAPアルゴリズムをパラメータ化する。
• 従来のmax-log-MAP計算の代わりに、LLR更新の最適スケーリングおよび補正要因を学習可能な微分可能DNNレイヤーで置き換える。
• 固定反復回数で生成されたlog-MAPアルゴリズムの予測値とターゲットLLRの差を直接最小化する再定義された損失関数を設計する。
• ミニバッチサイズ500、学習率1e-5で、確率的勾配降下法（SGD）とADAM最適化手法を用いてネットワークを訓練する。
• 学習のロバスト性と一般化性をバランスさせるために、1つのトレーニングSNR（0 dB）とターゲット反復回数（T=6）を用いてlog-MAP LLRを生成する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ化されたmax-log-MAPアルゴリズムを統合したモデル駆動型DNNアーキテクチャは、TurboコードのBER性能において従来のmax-log-MAPデコーディングを上回ることができるか？
• RQ2 1つのSNRでのみトレーニングされたにもかかわらず、TurboNetデコーダーはさまざまなSNR値において良好に一般化することができるか？
• RQ3 データ駆動型RNNまたは完全結合DNNデコーダーと比較して、TurboNetはパラメータ数と計算複雑性を低減しつつ、性能を維持または向上させることができるか？
• RQ4 デコーディングユニットの数、およびトレーニングSNRとターゲット反復回数の選択が、DNNデコーダーの一般化性能と誤り訂正能力にどのように影響するか？

主な発見

• TurboNetは、(40,132)および(40,92)の両方のTurboコードにおいて、すべてのSNR範囲で従来のmax-log-MAPアルゴリズム（5反復）よりも低いビット誤り率（BER）を達成する。
• (40,132)コードでは、TurboNetはmax-log-MAP（5反復）を上回り、log-MAP（3反復）と同等の性能を達成する。
• パunctured (40,92)コードでは、TurboNetはmax-log-MAP（3反復）を上回り、log-MAP（3反復）と同等のBER性能を達成する。
• TurboNetはSNR値の変動に対しても良好に一般化し、トレーニングSNR（0 dB）とは異なるSNRでテストしても優れた性能を維持する。
• デコーダーのパラメータ数は17.8Kにとどまり、[3]の神経BCJRデコーダーの385万パラメータと比較して顕著に少ない。さらに、推論時間も速く（1.39e-4s vs. 5.89e-3s）なる。
• TurboNetはmax-log-MAP（5反復）と比較して計算遅延を低減し、1.39e-4sでデコーディングを完了する（max-log-MAPは2.3e-4s）。