[论文解读] Assessing the Value of Transfer Learning Metrics for RF Domain Adaptation

Lauren J. Wong, Sean McPherson+1 more|arXiv (Cornell University)|Jun 16, 2022

Wireless Signal Modulation Classification被引用 4

一句话总结

本文评估了在射频机器学习（RFML）领域自适应中，迁移性度量 LEEP 和 LogME 的表现，证明其能以高相关性预测基于卷积神经网络（CNN）的调制分类器在迁移后的准确率。研究显示，微调头部优于端到端微调，并提供了基于信道相似性的源模型选择指南，从而在数据稀缺条件下实现高效且准确的 RFML 自适应。

ABSTRACT

The use of transfer learning (TL) techniques has become common practice in fields such as computer vision (CV) and natural language processing (NLP). Leveraging prior knowledge gained from data with different distributions, TL offers higher performance and reduced training time, but has yet to be fully utilized in applications of machine learning (ML) and deep learning (DL) techniques to applications related to wireless communications, a field loosely termed radio frequency machine learning (RFML). This work begins this examination by evaluating the how radio frequency (RF) domain changes encourage or prevent the transfer of features learned by convolutional neural network (CNN)-based automatic modulation classifiers. Additionally, we examine existing transferability metrics, Log Expected Empirical Prediction (LEEP) and Logarithm of Maximum Evidence (LogME), as a means to both select source models for RF domain adaptation and predict post-transfer accuracy without further training.

研究动机与目标

• 评估迁移性度量 LEEP 和 LogME 在预测 RFML 中 RF 领域自适应性能方面的实用性。
• 研究 RF 领域偏移（特别是信噪比 SNR 和频率偏移 FO）对基于 CNN 的调制分类器迁移学习性能的影响。
• 比较在数据有限条件下，头部重训练与微调在 RF 领域自适应中的有效性。
• 识别影响 RFML 中成功迁移学习的关键因素，如源-目标领域相似性与硬件平台差异。
• 为在动态信道条件下部署真实世界 RFML 系统中的迁移学习提供实用指南。

提出的方法

• 在具有 SNR 和频率偏移受控变化的合成射频数据上训练了一个基于 CNN 的自动调制分类器。
• 采用两种迁移学习策略：头部重训练（随机初始化头部，冻结特征提取器）和微调（微调完整网络）。
• 为每个源模型计算 LEEP 和 LogME 迁移性度量，以在无需额外训练的情况下预测迁移后的准确率。
• 在三个实验循环中评估性能：仅 SNR 变化、仅频率偏移变化，以及 SNR+FO 联合变化。
• 使用斯皮尔曼等级相关系数评估 LEEP 和 LogME 的预测值与实际迁移后 top-1 准确率之间的吻合程度。
• 分析源-目标领域在信道环境与硬件平台两方面的相似性对迁移成功的影响相对重要性。

实验结果

研究问题

• RQ1 LEEP 和 LogME 迁移性度量在 RF 领域自适应中与实际迁移后准确率的相关性如何？
• RQ2 在 RFML 中，头部重训练与微调哪种迁移学习策略能带来更好的性能与效率？
• RQ3 SNR 和频率偏移的变化如何影响 RFML 中学习特征的迁移性？
• RQ4 在选择源模型时，信道环境的相似性是否比硬件平台的相似性更为关键？
• RQ5 在 RFML 场景中，迁移性度量能否在无需进一步训练的情况下可靠预测迁移后准确率？

主要发现

• LEEP 和 LogME 与实际迁移后准确率表现出强烈相关性，在 SNR+FO 实验中，微调策略下的斯皮尔曼等级相关系数分别为 0.7496 和 0.7468。
• 头部重训练在性能上优于微调，且计算效率更高，其准确率高估/低估预测的一致性达到 0.6175。
• 从比目标域更具挑战性的源域（如更低 SNR 或更高 FO）迁移，性能优于从更简单的源域迁移。
• 源-目标领域在信道环境（如 SNR 和 FO）上的相似性，比在硬件平台上的相似性对成功迁移更具决定性影响。
• 结合 LEEP 和 LogME 可提升预测可靠性，表明在 RFML 迁移学习中联合使用多个度量可增强鲁棒性。
• 本研究提供了可操作的指导建议：优先选择信道条件相似的源模型，偏好头部重训练以提升速度与稳定性，并利用 LEEP/LogME 在无需微调的情况下完成预选。