[论文解读] Building Encoder and Decoder with Deep Neural Networks: On the Way to Reality

Minhoe Kim, Woongsup Lee+2 more|arXiv (Cornell University)|Aug 7, 2018

Wireless Signal Modulation Classification参考文献 13被引用 11

一句话总结

本文提出一种基于深度神经网络（DNN）的编码器与解码器架构，用于通信系统，实现无需先验领域知识的实时、灵活操作。通过基于硬件描述语言（HDL）的数字电路实现，证明了优化后的DNN设计——在字长、隐藏节点数和层数之间取得平衡——可在保持优异误比特率（BER）性能的同时，实现极低的硬件引入误差，验证了其在实际部署中的可行性。

ABSTRACT

Deep learning has been a groundbreaking technology in various fields as well as in communications systems. In spite of the notable advancements of deep neural network (DNN) based technologies in recent years, the high computational complexity has been a major obstacle to apply DNN in practical communications systems which require real-time operation. In this sense, challenges regarding practical implementation must be addressed before the proliferation of DNN-based intelligent communications becomes a reality. To the best of the authors' knowledge, for the first time, this article presents an efficient learning architecture and design strategies including link level verification through digital circuit implementations using hardware description language (HDL) to mitigate this challenge and to deduce feasibility and potential of DNN for communications systems. In particular, DNN is applied for an encoder and a decoder to enable flexible adaptation with respect to the system environments without needing any domain specific information. Extensive investigations and interdisciplinary design considerations including the DNN-based autoencoder structure, learning framework, and low-complexity digital circuit implementations for real-time operation are taken into account by the authors which ascertains the use of DNN-based communications in practice.

研究动机与目标

• 解决DNN在实时通信系统中计算复杂度高的问题。
• 通过硬件级设计与HDL实现，证明基于DNN的通信系统的实际可行性。
• 优化DNN架构（字长、隐藏节点数、层数），以最小化硬件引入误差，同时保持误比特率（BER）性能。
• 实现无需领域特定工程的灵活、环境自适应通信系统。
• 弥合基于仿真研究的DNN与通信领域实际硬件部署之间的差距。

提出的方法

• 设计一种基于DNN的自编码器结构，实现编码与解码的联合处理，且无需事先了解调制方式或信道模型。
• 使用硬件描述语言（HDL）在硬件中实现DNN，以支持实时数字电路运行。
• 优化关键设计参数：数据字长（8位、16位、24位）、每层隐藏节点数以及隐藏层数。
• 采用定点数运算，包含符号位、3个整数位及小数位，以在精度与硬件复杂度之间取得平衡。
• 通过仿真与基于HDL的硬件测试进行链路级验证，对比软件与硬件性能。
• 应用残差网络原理，以稳定深层网络的训练过程并提升性能。

实验结果

研究问题

• RQ1 在HDL实现中，数据字长如何影响基于DNN的编码器与解码器在软件仿真与硬件输出之间的误差？
• RQ2 当DNN层中隐藏节点数增加时，误比特率（BER）性能与硬件实现误差之间的权衡关系如何？
• RQ3 隐藏层数量如何影响基于DNN的通信系统在BER性能与累积硬件误差方面的表现？
• RQ4 基于DNN的编码器-解码器能否通过基于HDL的数字电路实现达到实时运行？
• RQ5 哪些设计策略可优化DNN参数，以实现通信系统中实用部署，同时不牺牲性能？

主要发现

• 使用8位数据字长会使均方根误差（RMS误差）相比16位字长增加逾100倍，显著降低系统性能。
• 当字长超过24位后，RMS误差的改善微乎其微，表明更高精度的收益递减。
• 5层DNN相比2层DNN可将BER性能提升逾10倍，但因误差累积也导致硬件引入误差增加。
• 大量隐藏节点可提升理论BER性能，但会增加训练难度与硬件误差，因误差源增多。
• 最优DNN设计需在BER性能与实现误差之间取得平衡，避免过度加深或加宽，以适应实际硬件部署。
• 基于HDL的实现证实了DNN通信的可行性；当参数经仔细调优后，其性能可接近软件仿真，具有可测量的实用性。