[論文レビュー] Adversarial Attacks on Multivariate Time Series

Samuel Harford, Fazle Karim+1 more|arXiv (Cornell University)|Mar 31, 2020

Time Series Analysis and Forecasting参考文献 33被引用数 5

ひとこと要約

本稿は、代替敵対的変換ネットワーク（ATN）を用いたモデル distillation を用いた敵対的攻撃フレームワークを提案し、多次元時系列分類器を標的としている。18個のUEAおよびUCRデータセットにおいて、1-Nearest Neighbor Dynamic Time Warping（1-NN DTW）および完全畳み込みネットワーク（FCN）に対して白ボックスおよびブラックボックス攻撃が成功したことを示しており、多次元時系列モデルが敵対的摂動に対して脆弱であることを明らかにした。本分野における最初のこのような攻撃である。

ABSTRACT

Classification models for the multivariate time series have gained significant importance in the research community, but not much research has been done on generating adversarial samples for these models. Such samples of adversaries could become a security concern. In this paper, we propose transforming the existing adversarial transformation network (ATN) on a distilled model to attack various multivariate time series classification models. The proposed attack on the classification model utilizes a distilled model as a surrogate that mimics the behavior of the attacked classical multivariate time series classification models. The proposed methodology is tested onto 1-Nearest Neighbor Dynamic Time Warping (1-NN DTW) and a Fully Convolutional Network (FCN), all of which are trained on 18 University of East Anglia (UEA) and University of California Riverside (UCR) datasets. We show both models were susceptible to attacks on all 18 datasets. To the best of our knowledge, adversarial attacks have only been conducted in the domain of univariate time series and have not been conducted on multivariate time series. such an attack on time series classification models has never been done before. Additionally, we recommend future researchers that develop time series classification models to incorporating adversarial data samples into their training data sets to improve resilience on adversarial samples and to consider model robustness as an evaluative metric.

研究の動機と目的

• 多次元時系列分類モデルが敵対的攻撃に対して脆弱であるかどうかを調査すること。これは、この分野において以前に未解決であった課題である。
• 標的分類器の挙動を模倣するための、蒸留された代替モデルを用いた転送可能な攻撃戦略を開発すること。
• 多様な多次元時系列分類モデルに対して、白ボックスおよびブラックボックス設定下での敵対的攻撃の有効性を評価すること。
• 1-NN DTW といった古典的モデルが、FCN といったディープラーニングモデルよりも敵対的摂動に対してより頑健であることを示すこと。
• 今後の時系列モデル開発において、敵対的訓練データの統合とモデルの頑健性評価を標準的な指標として採用すべきであることを提言すること。

提案手法

• 標的となる多次元時系列分類器（例：1-NN DTW や FCN）の意思決定境界を模倣するように訓練された蒸留モデルを用意し、攻撃生成用の代替モデルとして使用する。
• 敵対的変換ネットワーク（ATN）を、蒸留モデル上で訓練し、誤分類を最大化するように摂動を最適化することで敵対的サンプルを生成する。
• 攻撃は、代替モデルへの完全なアクセスがある白ボックス設定と、入力/出力へのみアクセス可能なブラックボックス設定の両方で実行され、転送性をテストする。
• 摂動は、誤分類を促進しつつ摂動の大きさを最小化するように最適化され、その大きさはMSEで測定される。
• 攻撃は、UEAおよびUCRアーカイブの18個の多次元時系列データセット上で評価され、再訓練を行わず、標準的なテスト分割を用いる。
• モデルの頑健性は、成功裏に生成された敵対的サンプルの数と、元の入力からの平均二乗誤差（MSE）を測定することで評価される。

実験結果

リサーチクエスチョン

• RQ1 蒸留された代替モデルを用いて、敵対的攻撃を多次元時系列分類器に転送することは可能か？
• RQ2 1-NN DTW といった古典的モデルと、FCN といったディープラーニングモデルに対して、白ボックスおよびブラックボックス攻撃はどの程度有効か？
• RQ3 1-NN DTW と FCN のどちらのモデルアーキテクチャが、多次元時系列における敵対的摂動に対してより頑健か？
• RQ4 多様な多次元時系列データセットにおいて、敵対的摂動の分布と大きさはどのように変動するか？
• RQ5 敵対的訓練は、多次元時系列分類モデルのレジリエンスをどの程度向上させ得るか？

主な発見

• UEAおよびUCRの18個すべての多次元時系列データセットが、白ボックスおよびブラックボックス設定の両方で成功裏に攻撃された。これは広範な脆弱性を示している。
• 1-NN DTW モデルは FCN よりも高い頑健性を示し、MSE 値が低かった（例：ArticularyWordRecognitionでブラックボックス攻撃時、0.063085）、生成された敵対的サンプルの数も少なかった。
• FCN モデルはより脆弱で、白ボックスモードで PenDigits データセットで最大850個の敵対的サンプルが生成され、MSE は 0.270337 であった。
• 白ボックス攻撃では、CharacterTrajectories データセットで FCN に対して706個の敵対的サンプルが生成され、MSE は 0.300598 であった。これは攻撃成功率が高く、摂動の大きさも顕著であることを示している。
• ブラックボックス攻撃でも顕著な成功が得られ、LSST データセットで 1-NN DTW に対して219個の敵対的サンプルが生成され、MSE は 0.185534 であった。これは強い転送性を示している。
• 本研究は、多次元時系列における敵対的攻撃が実現可能で効果的であることを確認しており、多様なデータタイプにわたり、測定可能な摂動の大きさと高い攻撃成功率を示している。