[论文解读] Fully Dense Neural Network for the Automatic Modulation Recognition

Miao Du, Qin Yu+4 more|arXiv (Cornell University)|Dec 7, 2019

Wireless Signal Modulation Classification参考文献 23被引用 4

一句话总结

该论文提出了一种全连接神经网络（FDNN）用于自动调制识别（AMR），可直接处理同相和 quadrature（IQ）数据，无需转换为频谱图。通过结合残差块、密集连接和信号注意力机制，FDNN 在 RML2016.10a 数据集上相比 CNN 和 ResNet 基线模型，实现了更高的识别准确率，同时显著降低了模型复杂度。

ABSTRACT

Nowadays, we mainly use various convolution neural network (CNN) structures to extract features from radio data or spectrogram in AMR. Based on expert experience and spectrograms, they not only increase the difficulty of preprocessing, but also consume a lot of memory. In order to directly use in-phase and quadrature (IQ) data obtained by the receiver and enhance the efficiency of network extraction features to improve the recognition rate of modulation mode, this paper proposes a new network structure called Fully Dense Neural Network (FDNN). This network uses residual blocks to extract features, dense connect to reduce model size, and adds attentions mechanism to recalibrate. Experiments on RML2016.10a show that this network has a higher recognition rate and lower model complexity. And it shows that the FDNN model with dense connections can not only extract features effectively but also greatly reduce model parameters, which also provides a significant contribution for the application of deep learning to the intelligent radio system.

研究动机与目标

• 为解决传统 AMR 方法依赖人工设计特征或频谱图预处理所导致的计算成本高和内存占用大的问题。
• 通过直接使用深度学习处理原始 IQ 数据，提升自动调制识别的识别准确率。
• 在提升特征提取效率的同时，降低模型复杂度和过拟合风险。
• 探究密集连接与注意力机制在端到端基于 IQ 的调制识别中的有效性。

提出的方法

• FDNN 架构采用残差块以促进深层网络的训练并改善梯度流动。
• 在残差块中的所有层之间实现密集连接，以促进特征复用并减少可训练参数数量。
• 在每个残差块中集成信号注意力（SA）机制，根据特征图的重要性重新校准，以增强判别性表征。
• 网络在 RML2016.10a 数据集的原始 IQ 数据上进行端到端训练，避免使用中间频谱图或星座图表示。
• 该架构设计旨在以极少的参数数量维持高性能，从而提升泛化能力并减少过拟合。
• 实验在 RML2016.10a 基准上，使用标准指标对比 FDNN 与 CNN、ResNet、DenseNet 和 CLDNN 模型的性能。

实验结果

研究问题

• RQ1 当直接处理原始 IQ 数据时，全连接神经网络架构是否能在调制识别准确率上超越传统的 CNN 和 ResNet 模型？
• RQ2 密集连接在多大程度上减少了模型复杂度，同时保持或提升特征提取能力？
• RQ3 信号注意力机制在重新校准特征图并提升基于 IQ 的 AMR 识别性能方面有多有效？
• RQ4 尽管结构更深，与 ResNet-50 等更深网络相比，所提出的 FDNN 架构是否能有效降低过拟合？

主要发现

• 在 RML2016.10a 数据集上，FDNN 的平均识别率高于 CNN2-IQ、ResNet-50 和 ResNet-34，相比 ResNet-50 提升了 5.2%。
• 与 CNNR-IQFOC 模型相比，FDNN 的可训练参数减少了约 80 倍，展现出显著的效率优势。
• 尽管架构更深，FDNN 的过拟合程度低于 DenseNet 和 CLDNN，表现为测试集性能优于验证集性能。
• 信号注意力机制有效重新校准了特征图，早期层中观察到更高的注意力权重，且不同调制类型间具有共享的重要性。
• 注意力机制表明，低层特征对分类更为关键，提示早期层捕捉了更具泛化能力的调制特征。
• 残差块、密集连接与注意力机制的结合，实现了更低的模型复杂度和更优的训练效率，同时显著提升了性能。