[論文レビュー] MIST: A Novel Training Strategy for Low-latency Scalable Neural Net Decoders

Kumar Yashashwi, Deepak Anand+3 more|arXiv (Cornell University)|May 22, 2019

Wireless Signal Modulation Classification参考文献 3被引用数 6

ひとこと要約

本稿では、8倍以上の高速なデコーディング速度を実現するRNNベースのデコーダーよりも優れたビット誤り率およびブロック誤り率性能を達成する、畳み込みニューラルネットワーク（CNN）デコーダーを用いた新しいトレーニング戦略MISTを提案する。Mixed-SNR独立サンプルを用いて1%のコード語のみでトレーニングすることで、チャネル障害下でも低遅延かつ耐障害性に優れたデコーディングが可能となり、不一致条件では最適デコーダーを上回る性能を示す。

ABSTRACT

In this paper, we propose a low latency, robust and scalable neural net based decoder for convolutional and low-density parity-check (LPDC) coding schemes. The proposed decoders are demonstrated to have bit error rate (BER) and block error rate (BLER) performances at par with the state-of-the-art neural net based decoders while achieving more than 8 times higher decoding speed. The enhanced decoding speed is due to the use of convolutional neural network (CNN) as opposed to recurrent neural network (RNN) used in the best known neural net based decoders. This contradicts existing doctrine that only RNN based decoders can provide a performance close to the optimal ones. The key ingredient to our approach is a novel Mixed-SNR Independent Samples based Training (MIST), which allows for training of CNN with only 1\% of possible datawords, even for block length as high as 1000. The proposed decoder is robust as, once trained, the same decoder can be used for a wide range of SNR values. Finally, in the presence of channel outages, the proposed decoders outperform the best known decoders, {\it viz.} unquantized Viterbi decoder for convolutional code, and belief propagation for LDPC. This gives the CNN decoder a significant advantage in 5G millimeter wave systems, where channel outages are prevalent.

研究の動機と目的

• 状態下のRNNベースデコーダーと同等またはそれを上回る性能を達成する低遅延かつスケーラブルなニューラルネットワークデコーダーを、畳み込みコードおよびLDPCコードに開発すること。
• 従来の認識である「RNNのみがニューラルネットワークデコーディングで近似最適性能を達成可能」という仮説を覆し、新しいトレーニング戦略を用いることでCNNが同等の結果を達成できることを示すこと。
• 5G mmWaveシステムで一般的なランダムなチャネル障害が発生する動的チャネル環境下でも、耐障害性のあるデコーディングを実現すること。伝統的な最適デコーダーは仮定の不一致により失敗する。
• ニューラルデコーダーのトレーニングに必要なデータ量を大幅に削減すること。1000までのブロック長でも、フルコードブックの1%未満で効果的なトレーニングが可能であることを示すこと。

提案手法

• 複数の信号対雑音比（SNR）レベルで独立してコード語をサンプリングするMixed-SNR独立サンプルベーストレーニング（MIST）戦略を導入し、一般化性能の向上とデータ依存性の低減を実現する。
• 再帰的ネットワーク（RNN）の代わりに、並列計算が可能で低遅延を実現する1次元畳み込みニューラルネットワーク（CNN）アーキテクチャをデコーダーとして採用する。
• MISTを用いて、フルコードブックの最小1%の多様なコード語サブセットでCNNデコーダーをトレーニングし、RNNベースデコーダーが90%のコード語でトレーニングされた場合と同等の性能を達成する。
• 同じトレーニング済みCNNアーキテクチャを畳み込みコードおよびLDPCコードの両方で使用可能であり、コードタイプ間での転送性を示す。
• 実際のmmWave環境を模倣するため、SNRが確率αで-10 dBに低下するランダムなチャネル障害をシミュレートして耐障害性を評価する。
• 畳み込みコードではハードデコーダーおよび非量子化Viterbiデコーダー、LDPCコードではビット反転デコーダーおよび信念伝播デコーダーと比較し、障害下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースデコーダーと同等の性能を達成できるCNNベースデコーダーは、従来の「RNNのみが近似最適性能を達成可能」という認識を覆すことができるか？特に、1%未満のコードブックでトレーニングされた場合でも。
• RQ2 フルコードブックの1%未満という極めて少ないデータ量で、CNNデコーダーの有効なトレーニングが可能となるようなトレーニング戦略を設計できるか？
• RQ3 MISTでトレーニングされたCNNデコーダーは、チャネル障害や不一致チャネル条件下でも、古典的最適デコーダーと比較して優れた耐障害性を示すか？
• RQ4 MISTでトレーニングされた同じニューラルネットワークアーキテクチャを、再トレーニングやアーキテクチャ変更なしに、畳み込みコードおよびLDPCコードの両方で効果的に適用できるか？

主な発見

• MISTでトレーニングされたCNNデコーダーは、1%のコード語でのトレーニングでも、最高のRNNベースデコーダーと同等のビット誤り率（BER）およびブロック誤り率（BLER）性能を達成する。これは、従来90%のコード語が必要とされる場合と比べ、データ要件を著しく削減した。
• CNNの固有の並列処理特性により、RNNベースデコーダーよりも8倍以上の高速なデコーディング速度を達成する。これは、低遅延アプリケーションに適している。
• ランダムなチャネル障害（確率αでSNRが-10 dBに低下）下では、非量子化Viterbiデコーダー（固定チャネル向け最適）およびLDPC用信念伝播デコーダーを上回り、特に障害確率が高くなる（α = 0.5）場合に顕著に優位性を示す。
• LDPCコードでは、ビット反転デコーダーを上回り、信念伝播性能と同等またはそれを上回る。これは、動的環境下での耐障害性を示している。
• 同じトレーニング済みCNNアーキテクチャが、畳み込みコードおよびLDPCコードの両方を効果的にデコードできることを確認した。これは、本手法のスケーラビリティおよびコードタイプ間での一般化能力を裏付けている。
• 長年の認識である「ニューラルネットワークデコーディングで近似最適性能を達成できるのはRNNのみ」という仮説を覆す結果が得られた。MISTを用いたCNNは、実用的で動的変化するチャネル環境下でも、同等またはそれ以上の性能を達成可能であることが実証された。