[论文解读] Adversarial Attacks on Multivariate Time Series

Samuel Harford, Fazle Karim+1 more|arXiv (Cornell University)|Mar 31, 2020

Time Series Analysis and Forecasting参考文献 33被引用 5

一句话总结

本文提出了一种基于模型蒸馏的对抗性攻击框架，针对多变量时间序列分类器，采用替代对抗性变换网络（ATN）。该方法在18个UEA和UCR数据集上成功实现了对1-Nearest Neighbor Dynamic Time Warping（1-NN DTW）和全卷积网络（FCN）的白盒与黑盒攻击，表明多变量时间序列模型易受对抗性扰动影响——这是该领域首次实现此类攻击。

ABSTRACT

Classification models for the multivariate time series have gained significant importance in the research community, but not much research has been done on generating adversarial samples for these models. Such samples of adversaries could become a security concern. In this paper, we propose transforming the existing adversarial transformation network (ATN) on a distilled model to attack various multivariate time series classification models. The proposed attack on the classification model utilizes a distilled model as a surrogate that mimics the behavior of the attacked classical multivariate time series classification models. The proposed methodology is tested onto 1-Nearest Neighbor Dynamic Time Warping (1-NN DTW) and a Fully Convolutional Network (FCN), all of which are trained on 18 University of East Anglia (UEA) and University of California Riverside (UCR) datasets. We show both models were susceptible to attacks on all 18 datasets. To the best of our knowledge, adversarial attacks have only been conducted in the domain of univariate time series and have not been conducted on multivariate time series. such an attack on time series classification models has never been done before. Additionally, we recommend future researchers that develop time series classification models to incorporating adversarial data samples into their training data sets to improve resilience on adversarial samples and to consider model robustness as an evaluative metric.

研究动机与目标

• 探究多变量时间序列分类模型在对抗性攻击下的脆弱性，这一威胁此前在该领域尚未被探索。
• 开发一种基于蒸馏替代模型的可迁移攻击策略，以模拟目标分类器的行为。
• 在多种多变量时间序列模型上，评估白盒与黑盒设置下的对抗性攻击有效性。
• 证明经典模型如1-NN DTW在对抗性扰动下比深度学习模型如FCN更具鲁棒性。
• 倡导在未来的时间序列模型开发中，将对抗性训练数据和模型鲁棒性评估作为标准指标。

提出的方法

• 训练一个蒸馏模型，以模仿目标多变量时间序列分类器（如1-NN DTW或FCN）的决策边界，作为攻击生成中的替代模型。
• 在蒸馏模型上训练对抗性变换网络（ATN），通过优化使误分类程度最大化的扰动，生成对抗性样本。
• 在白盒（可完全访问替代模型）和黑盒（仅可访问输入/输出）设置下执行攻击，以测试迁移能力。
• 使用损失函数优化扰动，该函数鼓励误分类同时最小化扰动幅度，通过MSE进行度量。
• 在UEA和UCR数据存档中的18个多变量时间序列数据集上评估攻击，使用标准测试集划分，不进行微调。
• 通过测量成功生成的对抗性样本数量及其与原始输入的均方误差（MSE）来评估模型鲁棒性。

实验结果

研究问题

• RQ1 能否使用蒸馏替代模型成功将对抗性攻击迁移至多变量时间序列分类器？
• RQ2 白盒与黑盒攻击在经典多变量时间序列模型（如1-NN DTW）和深度学习模型（如FCN）上的有效性如何？
• RQ3 在多变量时间序列中，1-NN DTW与FCN哪种模型架构对对抗性扰动更具鲁棒性？
• RQ4 对抗性扰动在多样化多变量时间序列数据集中的分布与幅度如何？
• RQ5 对抗性训练在多变量时间序列分类模型中能在多大程度上提升其抗扰动能力？

主要发现

• 所有18个UEA和UCR多变量时间序列数据集均在白盒与黑盒设置下成功被攻击，表明其普遍存在脆弱性。
• 1-NN DTW模型表现出比FCN更高的鲁棒性，其MSE值更低（例如在ArticularyWordRecognition数据集的黑盒攻击中为0.063085），且生成的对抗性样本更少。
• FCN模型更易受攻击，在白盒模式下于PenDigits数据集上生成最多达850个对抗性样本，MSE为0.270337。
• 在白盒攻击中，CharacterTrajectories数据集为FCN生成了706个对抗性样本，MSE为0.300598，表明攻击成功率高且扰动幅度大。
• 黑盒攻击也取得了显著成功，例如在LSST数据集上，1-NN DTW生成了219个对抗性样本，MSE为0.185534，显示出强大的迁移能力。
• 本研究证实，多变量时间序列的对抗性攻击是可行且有效的，具有可测量的扰动幅度，并在多种数据类型中均表现出高攻击成功率。