[논문 리뷰] Data augmentation using synthetic data for time series classification with deep residual networks

Hassan Ismail Fawaz, Germain Forestier외 3명|arXiv (Cornell University)|2018. 08. 07.

Time Series Analysis and Forecasting인용 수 80

한 줄 요약

본 논문은 DTW 기반 합성 시계열 증강을 이용해 시계열 분류를 위한 깊은 Residual Network를 개선하고, 일부 소형 데이터셋에서 큰 이득과 앙상블 형태의 이점을 보임을 보여준다.

ABSTRACT

Data augmentation in deep neural networks is the process of generating artificial data in order to reduce the variance of the classifier with the goal to reduce the number of errors. This idea has been shown to improve deep neural network's generalization capabilities in many computer vision tasks such as image recognition and object localization. Apart from these applications, deep Convolutional Neural Networks (CNNs) have also recently gained popularity in the Time Series Classification (TSC) community. However, unlike in image recognition problems, data augmentation techniques have not yet been investigated thoroughly for the TSC task. This is surprising as the accuracy of deep learning models for TSC could potentially be improved, especially for small datasets that exhibit overfitting, when a data augmentation method is adopted. In this paper, we fill this gap by investigating the application of a recently proposed data augmentation technique based on the Dynamic Time Warping distance, for a deep learning model for TSC. To evaluate the potential of augmenting the training set, we performed extensive experiments using the UCR TSC benchmark. Our preliminary experiments reveal that data augmentation can drastically increase deep CNN's accuracy on some datasets and significantly improve the deep model's accuracy when the method is used in an ensemble approach.

연구 동기 및 목표

• 소형 데이터셋에서 깊은 시계열 분류기의 과적합을 줄이기 위한 데이터 증강 동기화.
• DTW 기반 DBA 가중치 데이터 증강 방법을 제안하여 합성 시계열을 생성.
• UCR TSC 벤치마크에서 ResNet을 이용한 증강 평가.
• 데이터셋 전반에 걸쳐 이득을 안정화하기 위한 앙상블 통합 탐구.

제안 방법

• 세 가지 잔차 블록을 갖는 깊은 Residual Network(ResNet)을 이용해 단변 시계열 분류.
• 학습 세트에서 합성 시계열을 생성하기 위해 DTW 기반 가중 DBA 방법 적용.
• 합성 생성에서 가장 많이 표현되는 클래스의 크기를 두 배로 늘리도록 증강 설정.
• 동일한 초기화 및 하이퍼파라미터 하에서 증강 여부에 따라 ResNet을 학습.
• UCR 데이터셋 전반의 정확도에 대한 영향 평가 및 비증강 baselines와의 비교.
• 두 개의 ResNet을 평균 후속 확률로 앙상블하여 강건성 향상.

실험 결과

연구 질문

• RQ1 DTW 기반 합성 데이터 증강이 시계열 분류에서 ResNet 성능을 향상시키는가?
• RQ2 증강이 작은 UCR 데이터셋과 큰 데이터셋에서 정확도에 어떤 영향을 미치는가?
• RQ3 증강 모델과 비증강 모델의 앙상블이 더 견고한 개선을 낳을 수 있는가?
• RQ4 DBA 기반 증강 분포가 원래 데이터 분포를 충실히 반영하는가?
• RQ5 제안된 접근법의 Practical한 이점과 한계는 무엇인가?

주요 결과

• 데이터 증강은 일부 데이터세트에서 심층 모델 정확도를 급격히 향상시킬 수 있다(예: DiatomSizeReduction에서 30%에서 96%로).
• 일반적으로 증강은 정확도를 크게 감소시키지 않으며, 일부 데이터세트에서 현저한 개선을 보일 수 있다.
• 증강 및 비증강 ResNet의 앙상블은 부정적 영향을 줄이고 데이터셋 전반에 걸쳐 이득을 유지한다.
• Wilcoxon 부호순위 검정은 앙상블 방식의 유의한 개선을 보였으며(p < 0.0005).
• DiatomSizeReduction 데이터셋은 학습 크기가 매우 작고(16 인스턴스) 합성 데이터의 이익을 크게 받는다.
• Wine(학습 인스턴스 57)와 같은 일부 데이터셋에서 증강은 의미 있는 개선을 보이나, 전반적으로 UCR 전체 세트에서 명확한 승리는 나타나지 않는다.