[논문 리뷰] Dynamic Time Warping based Adversarial Framework for Time-Series Domain

Taha Belkhouja, Yan Yan외 1명|arXiv (Cornell University)|2022. 07. 09.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 시간 시리즈 딥 네URAL 네트워크를 위한 새로운 적대적 로버스트니 프레임워크인 DTW-AR를 제안한다. 이는 유클리드 거리 대신 동적 시간 왜곡(DTW)을 사용한다. 확률적 정렬 경로를 활용해 다양한 실재성 있는 적대적 예제를 효율적으로 생성함으로써, 기준 방법 대비 뛰어난 속임수 성공률과 로버스트니 향상을 달성하면서도 계산 비용을 수개월 수준으로 감소시킨다.

ABSTRACT

Despite the rapid progress on research in adversarial robustness of deep neural networks (DNNs), there is little principled work for the time-series domain. Since time-series data arises in diverse applications including mobile health, finance, and smart grid, it is important to verify and improve the robustness of DNNs for the time-series domain. In this paper, we propose a novel framework for the time-series domain referred as {\em Dynamic Time Warping for Adversarial Robustness (DTW-AR)} using the dynamic time warping measure. Theoretical and empirical evidence is provided to demonstrate the effectiveness of DTW over the standard Euclidean distance metric employed in prior methods for the image domain. We develop a principled algorithm justified by theoretical analysis to efficiently create diverse adversarial examples using random alignment paths. Experiments on diverse real-world benchmarks show the effectiveness of DTW-AR to fool DNNs for time-series data and to improve their robustness using adversarial training. The source code of DTW-AR algorithms is available at https://github.com/tahabelkhouja/DTW-AR

연구 동기 및 목표

• 시간 시리즈 도메인에 특화된 원칙적인 적대적 로버스트니 방법의 부족을 해결하기 위해.
• $l_p$-노름 기반 적대적 공격의 한계를 극복하기 위해, 시간 시리즈 데이터의 시간적 유사성을 반영하지 못함.
• DTW를 거리 측정 기준으로 사용해 더 현실적이고 다양한 적대적 예제를 생성하는 프레임워크를 개발하기 위해.
• DTW-AR로 생성된 예제를 효과적으로 사용해 시간 시리즈 DNN의 로버스트니를 향상시키기 위해.
• SoftDTW나 표준 DTW와 같은 기존 방법에 비해 DTW 기반 적대적 예제가 더 효과적이고 계산 비용이 적게 든다는 것을 입증하기 위해.

제안 방법

• 타겟된 적대적 예제를 생성하기 위해 DTW 거리 측정 기준으로 제약 조건이 부여된 최적화 문제를 수립한다.
• 단일 경로 최적화의 한계를 극복하기 위해, 다수의 다양한 적대적 예제를 생성할 수 있는 확률적 정렬 경로를 도입한다.
• 무작위 정렬 경로가 DTW 측정 기준의 상한선을 이룹니다. 이는 효율적이고 효과적인 탐색을 가능하게 한다.
• 상한선 근사치를 사용해 기울기 기반 반복 방법을 적용하여 적대적 편향을 효율적으로 계산한다.
• 동적 프로그래밍의 최종 비용 행렬을 사용해 DTW를 계산함으로써, 임의의 多변량 DTW 변형과 호환성을 확보한다.
• 실제 시간 시리즈 벤치마크를 사용해 검증하고, 최신 기준 방법(CW-SDTW 및 표준 DTW)과 비교한다.

실험 결과

연구 질문

• RQ1 시간 시리즈 도메인에서 적대적 예제를 생성할 때 $l_2$ 거리보다 DTW가 더 적합한 거리 측정 기준인가?
• RQ2 확률적 정렬 경로는 효과성을 유지하면서도 다수의 다양한 적대적 예제를 효율적으로 생성할 수 있는가?
• RQ3 DTW-AR로 생성된 예제를 사용한 적대적 훈련이 표준 공격 및 적대적 공격에 대해 DNN의 로버스트니를 향상시키는가?
• RQ4 DTW-AR의 계산 비용은 정확한 DTW와 SoftDTW에 비해 어떻게 비교되는가?
• RQ5 DTW-AR는 DTW_I 및 DTW_D와 같은 다양한 다변량 DTW 변형에 일반화 가능한가?

주요 결과

• 같은 거리 기준 하에서 DTW 공간은 유클리드 공간보다 더 많은 적대적 예제를 포함함으로써, 시간 시리즈 로버스트니에 DTW가 적합함을 입증한다.
• 확률적 정렬 경로를 통해 단일 최적 경로 기반 방법으로는 불가능한 다수의 다양한 적대적 예제 생성이 가능하다.
• 무작위 정렬 경로를 사용한 상한선 근사치는 타당성이 높아, 방법의 효과성은 유지하면서도 계산 비용을 크게 절감한다.
• DTW-AR로 생성된 적대적 예제는 CW-SDTW를 포함한 기준 방법보다 시간 시리즈 DNN에서 더 높은 속임수 성공률을 달성한다.
• DTW-AR로 생성된 예제를 사용한 적대적 훈련은 표준 공격 및 적대적 공격에 대해 DNN의 로버스트니를 크게 향상시키며, 그 결과는 그림 12 및 13에서 확인할 수 있다.
• 표준 DTW 및 FastDTW에 비해 DTW-AR는 계산 비용을 수개월 수준으로 감소시키며, cDTW는 더 빠르고 정확한 기준으로 기능한다.