[논문 리뷰] DTW-Merge: A Novel Data Augmentation Technique for Time Series Classification

Mohammad Akyash, Hoda Mohammadzade외 1명|arXiv (Cornell University)|2021. 03. 01.

Time Series Analysis and Forecasting참고 문헌 15인용 수 7

한 줄 요약

이 논문은 동적 시간 왜곡(DTW)을 활용하여 두 개의 시계열 간에 정렬된 세그먼트를 교환함으로써 합성 샘플을 생성하는 새로운 데이터 증강 기법인 DTW-Merge를 제안한다. 이 방법은 최적의 왜곡 경로를 기반으로 하여 시계열 분류 성능을 향상시키며, ResNet과 결합할 경우 UCR 시계열 분류 아카이브에서 기존의 증강 기법들을 능가하는 정확도를 달성한다. 이는 Grad-CAM 및 MDS 시각화를 통해 검증되었으며, 더 구분력 있는 특징을 학습할 수 있도록 한다.

ABSTRACT

In recent years, neural networks achieved much success in various applications. The main challenge in training deep neural networks is the lack of sufficient data to improve the model's generalization and avoid overfitting. One of the solutions is to generate new training samples. This paper proposes a novel data augmentation method for time series based on Dynamic Time Warping. This method is inspired by the concept that warped parts of two time series have similar temporal properties and therefore, exchanging them between the two series generates a new training sample. The proposed method selects an element of the optimal warping path randomly and then exchanges the segments that are aligned together. Exploiting the proposed approach with recently introduced ResNet reveals improved results on the 2018 UCR Time Series Classification Archive. By employing Gradient-weighted Class Activation Mapping (Grad-CAM) and Multidimensional Scaling (MDS), we manifest that our method extract more discriminant features out of time series.

연구 동기 및 목표

• 시계열 분류에서 훈련 데이터가 부족할 경우 발생하는 과적합 및 일반화 성능 열악함 문제를 해결하기 위해.
• 시계열에 특화된 데이터 증강 방법을 개발하여 이미지 기반 변환 기법들이 시간적 의미를 유지하지 못할 수 있는 문제를 해결하기 위해.
• 동적 시간 왜곡(DTW)의 시간적 정렬 성질을 활용하여 보다 현실적이고 정보가 풍부한 합성 샘플을 생성하기 위해.
• 기존 증강 기법들과 비교하여 DTW-Merge가 특징 학습과 분류 성능 향상에 기여하는지 확인하기 위해.
• Grad-CAM 및 다차원 척도법(MDS)을 활용하여 학습된 특징 표현의 효과성을 검증하기 위해.

제안 방법

• 두 시계열 간 최적의 DTW 왜곡 경로 상에서 무작위로 한 점을 선택하고, 그 점 이전 및 이후의 정렬된 세그먼트를 두 시계열 간에 교환한다.
• 결과적으로 생성된 하이브리드 시계열은 DTW의 정렬 성질 덕분에 시간적 일관성을 유지한다.
• 이 방법은 UCR 시계열 분류 아카이브에서 엔드 투 엔드 훈련을 위한 ResNet 아키텍처와 통합된다.
• 모델이 입력의 구분력 있는 시간 영역에 집중하는지 평가하기 위해 Grad-CAM을 사용하여 주의 맵을 시각화한다.
• 글로벌 평균 풀링(GAP) 레이어의 특징에 대해 다차원 척도법(MDS)을 적용하여 클래스 간 분리 가능성과 특징의 구분 능력을 평가한다.
• 모든 128개의 UCR 데이터셋에서 평가되며, 결과는 13개의 기존 데이터 증강 기법들과 비교된다.

실험 결과

연구 질문

• RQ1 DTW 기반 데이터 증강은 시계열 분류에서 딥 네트워크의 일반화 능력과 정확도를 향상시킬 수 있는가?
• RQ2 주의 맵과 특징 공간 시각화를 통해 DTW-Merge가 기존 증강 기법들보다 더 구분력 있는 특징을 생성하는가?
• RQ3 DTW-Merge는 UCR 벤치마크에서 잡음 주입, 윈도우 왜곡, SPAWNER와 같은 다른 증강 기법들과 비교해 어떻게 정량적으로 성능을 냈는가?
• RQ4 GAP 레이어 특징의 MDS 시각화를 통해 DTW-Merge는 잠재 공간에서 특징의 선형 분리 가능성에 얼마나 기여하는가?
• RQ5 1-Nearest Neighbor DTW와 같은 비딥 러닝 모델에 적용했을 때 DTW-Merge의 성능 향상 효과는 유지되는가?

주요 결과

• DTW-Merge는 ResNet과 함께 사용했을 때 128개의 UCR 데이터셋 평균 정확도 83.07%를 기록하여 테스트된 모든 다른 증강 기법들을 능가했다.
• DTW-Merge의 t-검정 값 2.1은 증강 없음 대비 통계적으로 유의미한 향상(유의수준 0.05 이하)을 나타낸다.
• Grad-CAM 시각화 결과, DTW-Merge로 훈련된 모델은 더 작은, 더 구분력 있는 시간 영역에 집중하며 노이즈가 많거나 관련이 없는 세그먼트에 의존하는 것을 줄였다.
• GAP 레이어 특징의 MDS 시각화 결과, DTW-Merge는 다른 방법들보다 잠재 공간에서 더 선형적으로 분리 가능한 표현을 생성함을 확인했다.
• 특히 'Hemodynamics', 'Sensor', 'Device', 'Spectrum', 'Motion'과 같은 도전적인 데이터셋에서 일관된 성능 향상이 관찰되었다.
• 1-Nearest Neighbor DTW에 적용했을 때 DTW-Merge는 유의미한 성능 향상이 나타나지 않아, 그 효과가 주로 딥 러닝 아키텍처에서 유의미하게 나타남을 시사한다.