[논문 리뷰] Adversarial Attacks on Multivariate Time Series

Samuel Harford, Fazle Karim외 1명|arXiv (Cornell University)|2020. 03. 31.

Time Series Analysis and Forecasting참고 문헌 33인용 수 5

한 줄 요약

이 논문은 다변량 시계열 분류기 대상으로 모델 distillation 기반의 적대적 공격 프레임워크를 제안한다. 보조 적대적 변환 네트워크(ATN)를 사용하여 1-Nearest Neighbor Dynamic Time Warping(1-NN DTW) 및 완전 컨volution 네트워크(FCN)에 대해 흰 상자 및 비흰 상자 공격을 18개의 UEA 및 UCR 데이터셋에서 성공적으로 수행하였으며, 다변량 시계열 모델이 적대적 편향에 취약하다는 것을 입증한다. 이는 이 분야에서 처음으로 수행된 공격이다.

ABSTRACT

Classification models for the multivariate time series have gained significant importance in the research community, but not much research has been done on generating adversarial samples for these models. Such samples of adversaries could become a security concern. In this paper, we propose transforming the existing adversarial transformation network (ATN) on a distilled model to attack various multivariate time series classification models. The proposed attack on the classification model utilizes a distilled model as a surrogate that mimics the behavior of the attacked classical multivariate time series classification models. The proposed methodology is tested onto 1-Nearest Neighbor Dynamic Time Warping (1-NN DTW) and a Fully Convolutional Network (FCN), all of which are trained on 18 University of East Anglia (UEA) and University of California Riverside (UCR) datasets. We show both models were susceptible to attacks on all 18 datasets. To the best of our knowledge, adversarial attacks have only been conducted in the domain of univariate time series and have not been conducted on multivariate time series. such an attack on time series classification models has never been done before. Additionally, we recommend future researchers that develop time series classification models to incorporating adversarial data samples into their training data sets to improve resilience on adversarial samples and to consider model robustness as an evaluative metric.

연구 동기 및 목표

• 다변량 시계열 분류 모델이 적대적 공격에 취약한지 조사하고, 이 분야에서 이전에 탐색되지 않은 위협을 규명한다.
• 목표 분류기의 행동을 모방하기 위해 투명한 보조 모델을 사용하여 이식 가능한 공격 전략을 개발한다.
• 다양한 다변량 시계열 모델에서 흰 상자 및 비흰 상자 설정에서 적대적 공격의 효과성을 평가한다.
• 기존 모델인 1-NN DTW가 적대적 편향에 대해 딥러닝 모델인 FCN보다 더 견고함을 입증한다.
• 향후 시계열 모델 개발에서 적대적 훈련 데이터 통합 및 모델 견고성 평가를 표준 지표로 삼을 것을 주장한다.

제안 방법

• 목표 다변량 시계열 분류기(예: 1-NN DTW 또는 FCN)의 결정 경계를 모방하기 위해 보조 모델을 훈련시어 공격 생성에 사용한다.
• 적대적 변환 네트워크(ATN)를 보조 모델에서 훈련시어, 오차를 최대화하고 잘못 분류되는 방향으로 편향을 최적화하여 적대적 샘플을 생성한다.
• 공격는 흰 상자(보조 모델에 대한 전체 액세스 권한) 및 비흰 상자(입력/출력 액세스만 가능) 설정에서 수행되어 이식성 테스트를 수행한다.
• 편향의 크기를 최소화하면서 잘못 분류를 유도하는 손실 함수를 사용하여 편향을 최적화하며, 이는 MSE로 측정된다.
• 공격는 UEA 및 UCR 아카이브의 18개 다변량 시계열 데이터셋에서 평가되었으며, 재학습 없이 표준 테스트 분할을 사용한다.
• 모델의 견고성은 성공적으로 생성된 적대적 예제의 수와 원본 입력으로부터의 평균 제곱 오차(MSE)를 측정하여 평가된다.

실험 결과

연구 질문

• RQ1 다운샘플링된 보조 모델을 사용하여 다변량 시계열 분류기로의 적대적 공격가 성공적으로 이식 가능한가?
• RQ2 기존의 다변량 시계열 모델인 1-NN DTW와 딥러닝 모델인 FCN에 대해 흰 상자 및 비흰 상자 공격의 효과성은 어떠한가?
• RQ3 1-NN DTW와 FCN 중 어느 모델 아키텍처가 다변량 시계열에서 적대적 편향에 더 견고한가?
• RQ4 다양한 다변량 시계열 데이터셋에서 적대적 편향의 분포와 크기는 어떠한가?
• RQ5 적대적 훈련이 다변량 시계열 분류 모델의 내성에 얼마나 기여할 수 있는가?

주요 결과

• 모든 18개의 UEA 및 UCR 다변량 시계열 데이터셋이 흰 상자 및 비흰 상자 설정 모두에서 성공적으로 공격되었으며, 광범위한 취약성을 입증했다.
• 1-NN DTW 모델은 FCN보다 더 견고했으며, MSE 값이 낮았고(예: 비흰 상자에서 ArticularyWordRecognition에서 0.063085), 생성된 적대적 예제의 수가 적었다.
• FCN 모델은 더 취약했으며, 흰 상자 모드에서 PenDigits 데이터셋에서 최대 850개의 적대적 예제를 생성했고, MSE는 0.270337이었다.
• 흰 상자 공격에서 CharacterTrajectories 데이터셋은 FCN에 대해 706개의 적대적 샘플을 생성했고, MSE는 0.300598이었으며, 이는 높은 공격 성공률과 큰 편향 크기를 나타냈다.
• 비흰 상자 공격에서도 높은 성공률를 기록했으며, LSST 데이터셋에서 1-NN DTW에 대해 219개의 적대적 예제를 생성했고, MSE는 0.185534였다. 이는 강력한 이식성의 존재를 보여주었다.
• 이 연구는 다변량 시계열에 대한 적대적 공격가 실현 가능하고 효과적이며, 측정 가능한 편향 크기와 다양한 데이터 유형에서 높은 공격 성공률를 보임을 확인했다.