[論文レビュー] Building Encoder and Decoder with Deep Neural Networks: On the Way to Reality

Minhoe Kim, Woongsup Lee+2 more|arXiv (Cornell University)|Aug 7, 2018

Wireless Signal Modulation Classification参考文献 13被引用数 11

ひとこと要約

本論文は、事前のドメイン知識が不要なリアルタイムで柔軟に動作する通信システム向けのDNNベースのエンコーダ・デコーダアーキテクチャを提案する。HDLを用いたデジタル回路実装を通じて、ビット幅、隠れノード数、層数を最適化したDNN設計が、ハードウェア由来の誤りを低減しながら優れたBER性能を維持することを実証し、実用的導入の可能性を裏付けた。

ABSTRACT

Deep learning has been a groundbreaking technology in various fields as well as in communications systems. In spite of the notable advancements of deep neural network (DNN) based technologies in recent years, the high computational complexity has been a major obstacle to apply DNN in practical communications systems which require real-time operation. In this sense, challenges regarding practical implementation must be addressed before the proliferation of DNN-based intelligent communications becomes a reality. To the best of the authors' knowledge, for the first time, this article presents an efficient learning architecture and design strategies including link level verification through digital circuit implementations using hardware description language (HDL) to mitigate this challenge and to deduce feasibility and potential of DNN for communications systems. In particular, DNN is applied for an encoder and a decoder to enable flexible adaptation with respect to the system environments without needing any domain specific information. Extensive investigations and interdisciplinary design considerations including the DNN-based autoencoder structure, learning framework, and low-complexity digital circuit implementations for real-time operation are taken into account by the authors which ascertains the use of DNN-based communications in practice.

研究の動機と目的

• DNNの計算複雑度がリアルタイム通信システムに与える影響を軽減すること。
• ハードウェアレベルの設計とHDL実装を通じて、DNNベース通信の実用的妥当性を示すこと。
• ビット幅、隠れノード数、層数を最適化することで、ハードウェア由来誤りを最小限に抑えつつBER性能を維持するDNNアーキテクチャの最適化。
• ドメイン特化した工学的設計を必要とせず、柔軟で環境適応型の通信システムを実現すること。
• シミュレーションベースのDNN研究と実世界のハードウェア実装の間のギャップを埋めること。

提案手法

• 変調方式やチャネルモデルに関する事前の知識が不要な、エンコーディングとデコーディングを統合したDNNベースのオートエンコーダ構造を設計する。
• ハードウェア記述言語（HDL）を用いてDNNをハードウェア化し、リアルタイムのデジタル回路動作を可能にする。
• 主な設計パrameterを最適化する：データビット幅（8ビット、16ビット、24ビット）、1層あたりの隠れノード数、隠れ層の数。
• 精度とハードウェア複雑度のバランスを図るために、符号ビット、整数部3ビット、小数部ビットを有する固定小数点演算を採用する。
• シミュレーションによるリンクレベルの検証とHDLベースのハードウェアテストを実施し、ソフトウェアとハードウェアの性能を比較する。
• 深層構造における学習の安定化と性能向上を図るために、残差ネットワークの原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 HDL実装におけるデータビット幅の変更が、DNNベースのエンコーダ・デコーダにおけるソフトウェアシミュレーションとハードウェア出力の誤差に与える影響は何か？
• RQ2 DNN層の隠れノード数を増加させた場合、BER性能とハードウェア実装誤差のトレードオフはどのように変化するか？
• RQ3 隠れ層の数が、DNNベース通信におけるBER性能と蓄積されるハードウェア誤差に与える影響は何か？
• RQ4 HDLベースのデジタル回路実装により、DNNベースのエンコーダ・デコーダがリアルタイム動作を達成できるか？
• RQ5 DNNパラメータを最適化するための設計戦略は何か？その戦略により、性能を損なわず実用的導入が可能になるか？

主な発見

• 8ビットのデータ幅を使用すると、16ビットと比較してRMS誤差が100倍以上増加し、システム性能が著しく低下する。
• 24ビットを超えてビット幅を増加させても、RMS誤差の改善は微々たるものにとどまり、高精度化の効果は顕著に薄れる。
• 5層のDNNは2層のDNNと比較してBER性能を10倍以上向上させるが、誤差蓄積のためハードウェア由来誤差も増加する。
• 多くの隠れノードを有する構造は理論的なBER性能を向上させるが、学習の難易度とハードウェア誤差の増加（誤差源の増加）を引き起こす。
• 最適なDNN設計は、BER性能と実装誤差の両立を図るものであり、過度な深さや幅を避けることで実用的ハードウェア導入が可能になる。
• HDLベースの実装により、パrameterを適切にチューニングすれば、ソフトウェアシミュレーションに近い測定可能な性能を達成でき、DNNベース通信の実現可能性が裏付けられた。