[论文解读] Dynamic Time Warping based Adversarial Framework for Time-Series Domain

Taha Belkhouja, Yan Yan+1 more|arXiv (Cornell University)|Jul 9, 2022

Anomaly Detection Techniques and Applications被引用 5

一句话总结

本文提出 DTW-AR，一种基于动态时间规整（DTW）而非欧几里得距离的新型时间序列深度神经网络对抗鲁棒性框架。通过利用随机对齐路径高效生成多样且逼真的对抗样本，DTW-AR 在保持计算成本显著降低的同时，实现了优于基线方法的欺骗率与鲁棒性提升。

ABSTRACT

Despite the rapid progress on research in adversarial robustness of deep neural networks (DNNs), there is little principled work for the time-series domain. Since time-series data arises in diverse applications including mobile health, finance, and smart grid, it is important to verify and improve the robustness of DNNs for the time-series domain. In this paper, we propose a novel framework for the time-series domain referred as {\em Dynamic Time Warping for Adversarial Robustness (DTW-AR)} using the dynamic time warping measure. Theoretical and empirical evidence is provided to demonstrate the effectiveness of DTW over the standard Euclidean distance metric employed in prior methods for the image domain. We develop a principled algorithm justified by theoretical analysis to efficiently create diverse adversarial examples using random alignment paths. Experiments on diverse real-world benchmarks show the effectiveness of DTW-AR to fool DNNs for time-series data and to improve their robustness using adversarial training. The source code of DTW-AR algorithms is available at https://github.com/tahabelkhouja/DTW-AR

研究动机与目标

• 为时间序列领域缺乏系统性对抗鲁棒性方法的问题提供解决方案。
• 克服基于 $l_p$-范数的对抗攻击方法在时间序列数据中无法捕捉时间相似性的局限性。
• 开发一种利用 DTW 作为距离度量生成更真实、更多样化对抗样本的框架。
• 通过使用 DTW-AR 生成的对抗样本进行有效对抗训练，提升时间序列 DNN 的鲁棒性。
• 证明基于 DTW 的对抗样本在有效性与计算效率上均优于现有方法（如 SoftDTW 或标准 DTW）

提出的方法

• 建立以 DTW 距离度量为约束的优化问题，用于生成目标导向的对抗样本。
• 引入随机对齐路径以生成多个多样化的对抗样本，克服单路径优化的局限性。
• 理论上证明随机对齐路径可作为 DTW 度量的上界，从而实现高效且有效的搜索。
• 采用基于梯度的迭代方法，利用该上界近似高效计算对抗扰动。
• 利用动态规划得到的最终代价矩阵计算 DTW，确保与任意多变量 DTW 变体兼容。
• 在真实世界时间序列基准数据集上验证方法，并与最先进基线方法（包括 CW-SDTW 和标准 DTW）进行比较。

实验结果

研究问题

• RQ1 在时间序列领域，DTW 是否作为对抗样本生成的距离度量比 $l_2$ 更为合适？
• RQ2 随机对齐路径能否在保持有效性的前提下，高效生成多样化的对抗样本？
• RQ3 使用 DTW-AR 生成的对抗样本进行对抗训练，是否能显著提升 DNN 对标准攻击与对抗攻击的鲁棒性？
• RQ4 DTW-AR 在生成对抗样本时的计算成本与精确 DTW 和 SoftDTW 相比如何？
• RQ5 DTW-AR 是否能泛化至不同类型的多变量 DTW 变体（如 DTW_I 和 DTW_D）？”

主要发现

• 在相同距离约束下，DTW 空间包含的对抗样本集合是欧几里得空间的超集，验证了 DTW 在时间序列鲁棒性中的适用性。
• 随机对齐路径使生成多个多样化对抗样本成为可能，而这是基于最优路径的方法无法实现的。
• 利用随机对齐路径的上界近似具有紧致性，确保方法在计算效率提升的同时仍保持有效性。
• DTW-AR 生成的对抗样本在时间序列 DNN 上实现的欺骗率高于基线方法（包括 CW-SDTW）。
• 使用 DTW-AR 进行对抗训练显著提升了 DNN 对标准攻击与对抗攻击的鲁棒性，如图 12 和图 13 所示。
• 与标准 DTW 和 FastDTW 相比，DTW-AR 将计算成本降低了一个数量级以上，且 cDTW 作为更快更准确的基线表现更优。