[論文レビュー] Dynamic Time Warping based Adversarial Framework for Time-Series Domain

Taha Belkhouja, Yan Yan+1 more|arXiv (Cornell University)|Jul 9, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本稿では、時系列深層ニューラルネットワーク向けに、ユークリッド距離の代わりにダイナミックタイムワープィング（DTW）を用いる、新たな対抗的ロバストネスフレームワークであるDTW-ARを提案する。確率的アライメントパスを活用することで、多様で現実的な対抗的例を効率的に生成し、ベースライン手法と比較して優れたフォールィング率とロバストネス向上を達成するとともに、計算コストを桁違いに削減する。

ABSTRACT

Despite the rapid progress on research in adversarial robustness of deep neural networks (DNNs), there is little principled work for the time-series domain. Since time-series data arises in diverse applications including mobile health, finance, and smart grid, it is important to verify and improve the robustness of DNNs for the time-series domain. In this paper, we propose a novel framework for the time-series domain referred as {\em Dynamic Time Warping for Adversarial Robustness (DTW-AR)} using the dynamic time warping measure. Theoretical and empirical evidence is provided to demonstrate the effectiveness of DTW over the standard Euclidean distance metric employed in prior methods for the image domain. We develop a principled algorithm justified by theoretical analysis to efficiently create diverse adversarial examples using random alignment paths. Experiments on diverse real-world benchmarks show the effectiveness of DTW-AR to fool DNNs for time-series data and to improve their robustness using adversarial training. The source code of DTW-AR algorithms is available at https://github.com/tahabelkhouja/DTW-AR

研究の動機と目的

• 時系列分野に特化した原理的で整合性のある対抗的ロバストネス手法の不足に対処すること。
• $l_p$-ノルムに基づく対抗的攻撃の限界を克服し、時系列データの時間的類似性を捉えられないことの問題を解決すること。
• DTWを距離測度として用いることで、より現実的で多様な対抗的例を生成するフレームワークを開発すること。
• DTW-ARで生成された例を用いた効果的な対抗的訓練により、時系列DNNのロバストネスを向上させること。
• SoftDTW や標準DTWといった従来手法と比較して、DTWに基づく対抗的例がより効果的で計算的にも効率的であることを実証すること。

提案手法

• ターゲット対抗的例を生成するための最適化問題を、DTW距離測度によって制約する。
• 単一パス最適化の限界を克服するため、複数の多様な対抗的例を生成可能な確率的アライメントパスを導入する。
• ランダムアライメントパスがDTW測度の上界を規定することを理論的に証明し、効率的で効果的な探索を可能にする。
• 上界近似を用いた勾配ベースの反復手法により、対抗的摂動を効率的に計算する。
• 動的計画法による最終的なコスト行列を用いてDTWを計算し、任意の多次元DTW変種と互換性を保つ。
• 実世界の時系列ベンチマークを用いて手法を検証し、最先端のベースライン（CW-SDTW や標準DTW）と比較する。

実験結果

リサーチクエスチョン

• RQ1 同じ距離バインドのもとで、時系列分野における対抗的例生成にあたって、$l_2$ と比較してDTWがより適切な距離測度であるか？
• RQ2 確率的アライメントパスは、効果性を維持したまま、多様な対抗的例を効率的に生成できるか？
• RQ3 DTW-ARで生成された例を用いた対抗的訓練により、DNNの標準的および対抗的攻撃に対するロバストネスが向上するか？
• RQ4 対抗的例生成において、DTW-ARの計算コストは、正確なDTWやSoftDTWと比較してどの程度か？
• RQ5 DTW-ARは、DTW_I や DTW_D といった多次元DTWのさまざまな変種に一般化可能か？

主な発見

• 同じ距離バインドのもとで、DTW空間にはユークリッド空間に比べてより多くの対抗的例が含まれており、時系列ロバストネスにおけるDTWの適切さが裏付けられる。
• 確率的アライメントパスにより、最適パスに基づく手法では実現不可能な複数の多様な対抗的例の生成が可能になる。
• ランダムアライメントパスを用いた上界近似はきわめてタイトであり、計算コストの低減を実現しながらも、効果性を維持している。
• DTW-ARで生成された対抗的例は、CW-SDTW を含むベースライン手法と比較して、時系列DNNにおけるフォールィング率がより高い。
• DTW-ARを用いた対抗的訓練により、DNNの標準的および対抗的攻撃に対するロバストネスが顕著に向上し、図12および図13で示された。
• 標準DTW や FastDTW と比較して、DTW-ARは計算コストを桁違いに削減しており、cDTW はより高速かつ正確なベースラインとして機能する。