[论文解读] Adversarial Examples in RF Deep Learning: Detection of the Attack and its Physical Robustness

Silvija Kokalj-Filipović, Rob Miller|arXiv (Cornell University)|Feb 16, 2019

Adversarial Robustness in Machine Learning参考文献 17被引用 24

一句话总结

本文提出两种针对射频（RF）深度学习中对抗性样本的统计防御机制：一种基于空中传输（OTA）信号的峰均功率比（PAPR），另一种基于Softmax输出熵。两种方法均能检测由对抗性扰动引起的分布偏移，其中基于PAPR的检测方法在物理层失真下表现出更高的鲁棒性。

ABSTRACT

While research on adversarial examples in machine learning for images has been prolific, similar attacks on deep learning (DL) for radio frequency (RF) signals and their mitigation strategies are scarcely addressed in the published work, with only one recent publication in the RF domain [1]. RF adversarial examples (AdExs) can cause drastic, targeted misclassification results mostly in spectrum sensing/ survey applications (e.g. BPSK mistaken for 8-PSK) with minimal waveform perturbation. It is not clear if the RF AdExs maintain their effects in the physical world, i.e., when AdExs are delivered over-the-air (OTA). Our research on deep learning AdExs and proposed defense mechanisms are RF-centric, and incorporate physical world, OTA effects. We here present defense mechanisms based on statistical tests. One test to detect AdExs utilizes Peak-to- Average-Power-Ratio (PAPR) of the DL data points delivered OTA, while another statistical test uses the Softmax outputs of the DL classifier, which corresponds to the probabilities the classifier assigns to each of the trained classes. The former test leverages the RF nature of the data, and the latter is universally applicable to AdExs regardless of their origin. Both solutions are shown as viable mitigation methods to subvert adversarial attacks against communications and radar sensing systems.

研究动机与目标

• 为解决射频深度学习中对抗性样本研究的不足，特别是针对频谱感知和调制识别等物理层应用。
• 探究在仿真中设计的对抗性样本在真实传播条件下通过空中传输（OTA）后是否仍保持其有效性。
• 开发对OTA损伤具有鲁棒性的防御机制，能够检测RF信号中的对抗性扰动。
• 评估检测方法在瑞利衰落和噪声等物理层失真下的统计鲁棒性。

提出的方法

• 使用快速梯度符号法（FGSM）通过沿损失函数梯度方向添加小幅度、有针对性的扰动来生成对抗性样本。
• 采用基于PAPR的统计检验方法，通过分析OTA传输后RF信号的功率包络特性来检测对抗性样本。
• 对Softmax输出概率的熵应用Kolmogorov-Smirnov（KS）检验，以检测合法输入与对抗性输入之间的分布偏移。
• 通过50和200个样本的对照集比较检测性能，以评估KS检验的统计置信度和收敛性。
• 在真实OTA捕获的RF数据上训练CNN用于调制识别，使用公开数据集以确保可复现性。
• 在多种调制类型（BPSK、QPSK、16QAM）上评估两种防御方法，以评估其在不同信号格式下的泛化能力。

实验结果

研究问题

• RQ1 在真实传播条件下，通过空中传输（OTA）的射频深度学习对抗性样本是否仍保持其攻击有效性？
• RQ2 基于RF信号特征（如PAPR）的统计检验能否可靠检测物理层的对抗性扰动？
• RQ3 Softmax熵基检测方法对OTA引起的信号失真和分布偏移具有多强的鲁棒性？
• RQ4 在射频系统中，基于PAPR的防御机制还是基于熵的防御机制对物理层损伤更具韧性？

主要发现

• 基于PAPR的统计检验在OTA传输后仍能以高置信度成功检测对抗性样本，归因于其对RF信道效应的内在鲁棒性。
• 基于Softmax熵的KS检验在合法样本与对抗性样本之间表现出强区分能力，50和200个对照样本的p值均接近零，表明两者来自同一分布的概率极低。
• CNN分类器在干净RF数据上的测试准确率达99.88%，而在0.1-FGSM对抗性样本上仅为48.15%，表明其对攻击高度敏感。
• 经过对抗性训练的CNN提升了鲁棒性，在0.1-FGSM样本上准确率达76.59%，证实了对抗性训练的有效性。
• 随着对照样本数量增加（200 vs. 50），熵基检测的置信度有所提高，尤其在16QAM等高阶调制中表现更明显，尽管未完全收敛至100%置信度。
• PAPR检测比熵检测更具物理层鲁棒性，表明其更适合在无线系统中实际部署。