[論文レビュー] Low-complexity Recurrent Neural Network-based Polar Decoder with Weight Quantization Mechanism

Chieh-Fang Teng, Chen-Hsi Derek Wu+2 more|arXiv (Cornell University)|Oct 29, 2018

Error Correcting Code Techniques参考文献 13被引用数 4

ひとこと要約

本稿では、符号化されたコードブックを用いた重み量子化機構を備えた低複雑性の再帰的ニューラルネットワーク（RNN）ベースの極的符号デコーダを提案する。この手法により、極的符号のデコーディングにおけるメモリと計算のオーバーヘッドを低減できる。学習されたコードブックを用いてネットワーク重みを量子化することで、98%のメモリ削減が達成され、性能のわずかな低下にとどまる。これにより、5G NRシステムにおけるディープラーニングデコーダの効率的導入が可能になる。

ABSTRACT

Polar codes have drawn much attention and been adopted in 5G New Radio (NR) due to their capacity-achieving performance. Recently, as the emerging deep learning (DL) technique has breakthrough achievements in many fields, neural network decoder was proposed to obtain faster convergence and better performance than belief propagation (BP) decoding. However, neural networks are memory-intensive and hinder the deployment of DL in communication systems. In this work, a low-complexity recurrent neural network (RNN) polar decoder with codebook-based weight quantization is proposed. Our test results show that we can effectively reduce the memory overhead by 98% and alleviate computational complexity with slight performance loss.

研究の動機と目的

• 実用的な通信システムにおけるディープラーニングベースの極的符号デコーダの高いメモリと計算複雑性に対処すること。
• モデルサイズと複雑性の低減により、ニューラルネットワークデコーダを5Gニューロジカルラジオ（NR）に効率的に導入すること。
• デコーディング性能を維持しつつ、メモリオーバーヘッドを最小限に抑える重み量子化技術の検討。
• 極的符号における再帰的ニューラルネットワークデコーダに特化したコードブックベースの量子化機構の開発。

提案手法

• 極的符号をデコードするために再帰的ニューラルネットワーク（RNN）を設計し、逐次処理を活用して収束性を向上させる。
• ネットワーク重みの精度を低下させることで、メモリ使用量を最小限に抑えるコードブックベースの重み量子化機構を導入する。
• コードブックは学習中に学習され、フル精度の重みを低ビット表現にマッピングするために使用される。
• 量子化されたRNNデコーダは、ブロック誤り率の最小化を最適化した損失関数を用いてエンドツーエンドで訓練される。
• デコーディング処理における時間的依存性を活用するため、RNNの再帰的構造を維持する。
• 同じデコーディング性能目標下で、フル精度モデルと量子化モデルを比較することにより、メモリと計算複雑性を評価する。

実験結果

リサーチクエスチョン

• RQ1 低複雑性RNNベースのデコーダは、メモリフットプリントを削減しながら極的符号に対してほぼ容量性能を達成できるか？
• RQ2 コードブックベースの重み量子化は、顕著な性能低下を伴わずにメモリオーバーヘッドを最小限に抑えるのに効果的か？
• RQ3 量子化されたRNNデコーダにおいて、デコーディング複雑性、メモリ使用量、ブロック誤り率のトレードオフはいかなるものか？
• RQ4 提案された量子化機構は、極的符号のデコーディングに適した再帰的アーキテクチャに効果的に統合できるか？

主な発見

• 重み量子化を施した提案されたRNNベースのデコーダは、フル精度モデルと比較して98%のメモリオーバーヘッド削減を達成した。
• 量子化に起因する性能の低下は最小限であり、ブロック誤り率のわずかな低下にとどまった。
• 本手法は高速な収束性と競争力のあるデコーディング性能を維持しており、信念伝播性能に近い。
• コードブックベースの量子化により、リソース制約のある5G NRシステムにおけるディープラーニングデコーダの効率的導入が可能になった。