[论文解读] Large Scale Radio Frequency Signal Classification

Luke Boegner, Manbir Gulati+6 more|arXiv (Cornell University)|Jul 20, 2022

Wireless Signal Modulation Classification被引用 6

一句话总结

本文介绍了Sig53数据集——包含500万个合成生成的射频信号样本，涵盖53种调制类型，并引入了TorchSig，一个基于PyTorch的开源工具包，用于射频信号机器学习。实验表明，Transformer模型（XCiT-Tiny12）在无正则化条件下优于卷积神经网络（EfficientNet-B4），通过在线数据生成和领域特定增强，实现了71.16%的准确率。

ABSTRACT

Existing datasets used to train deep learning models for narrowband radio frequency (RF) signal classification lack enough diversity in signal types and channel impairments to sufficiently assess model performance in the real world. We introduce the Sig53 dataset consisting of 5 million synthetically-generated samples from 53 different signal classes and expertly chosen impairments. We also introduce TorchSig, a signals processing machine learning toolkit that can be used to generate this dataset. TorchSig incorporates data handling principles that are common to the vision domain, and it is meant to serve as an open-source foundation for future signals machine learning research. Initial experiments using the Sig53 dataset are conducted using state of the art (SoTA) convolutional neural networks (ConvNets) and Transformers. These experiments reveal Transformers outperform ConvNets without the need for additional regularization or a ConvNet teacher, which is contrary to results from the vision domain. Additional experiments demonstrate that TorchSig's domain-specific data augmentations facilitate model training, which ultimately benefits model performance. Finally, TorchSig supports on-the-fly synthetic data creation at training time, thus enabling massive scale training sessions with virtually unlimited datasets.

研究动机与目标

• 解决现有射频信号数据集（如RadioML）在多样性、真实性和可复现性方面的局限性。
• 提供一个大规模、多样化且可复现的基准，用于射频信号分类，基于带有真实失真效应的合成数据。
• 开发一个面向领域的机器学习工具包（TorchSig），支持射频信号的数据生成、增强和训练，以促进射频机器学习研究。
• 评估基于视觉的先进架构（如EfficientNet、XCiT）在射频领域的表现，以评估其可迁移性和性能扩展性。
• 展示领域定制化数据增强和在线合成数据生成在提升模型泛化能力和性能方面的优势。

提出的方法

• 使用受控的信号生成参数，合成500万个复值射频信号样本，覆盖53种调制类型。
• 在合成信号中引入真实存在的信道失真（如频偏、相位噪声、多径衰落），以提升真实感。
• 开发TorchSig，一个基于PyTorch的工具包，支持复值张量运算、领域特定的数据增强以及实时数据生成。
• 实现面向射频信号的定制化数据增强方法，如信噪比（SNR）变化、时域抖动和频域滤波。
• 使用静态数据集和在线数据生成策略，在Sig53数据集上训练并评估基于视觉的模型（EfficientNet-B0/B4、XCiT-Tiny12）。
• 采用单一准确率指标进行模型比较，避免使用复杂度较高的准确率-信噪比曲线进行跨模型基准测试。

实验结果

研究问题

• RQ1 大规模、多样化且逼真的合成射频信号数据集是否能提升深度学习模型在射频信号分类任务中的泛化能力和性能？
• RQ2 在无架构修改或知识蒸馏的情况下，Transformer架构是否在射频信号分类任务中优于卷积神经网络，如同在视觉任务中所见？
• RQ3 TorchSig中的领域特定数据增强在多大程度上能提升射频信号分类任务中的模型训练效果和泛化能力？
• RQ4 与静态数据集训练相比，在训练过程中采用在线合成数据生成对模型收敛性和性能有何影响？
• RQ5 基于视觉的深度学习架构（如EfficientNet、XCiT）是否能通过极少的调整有效迁移到射频信号分类领域？

主要发现

• 当结合在线数据生成和领域特定增强时，XCiT-Tiny12在Sig53数据集上达到了最高的测试准确率71.16%。
• 在无需额外正则化或使用卷积神经网络教师模型的情况下，Transformer在Sig53数据集上的表现优于卷积神经网络，这与计算机视觉领域的趋势相反。
• EfficientNet-B4在在线训练设置下达到69.73%的准确率，显著降低了过拟合现象，而静态数据训练则在验证损失上表现出明显的过拟合。
• 混淆矩阵显示，误分类主要发生在调制类型族内部（如不同阶数的QAM），表明模型在族级别上具有较强的区分能力。
• XCiT-Tiny12与EfficientNet-B4之间的性能差距在QAM信号上最为显著，表明注意力机制能更好地处理高信噪比下复杂的调制差异。
• TorchSig的在线数据生成和领域特定增强技术实现了近乎无限规模的训练数据，显著提升了模型泛化能力并减少了过拟合。