[논문 리뷰] Time Series Data Augmentation for Neural Networks by Time Warping with a Discriminative Teacher

Brian Kenji Iwana, Seiichi Uchida|arXiv (Cornell University)|2020. 04. 19.

Time Series Analysis and Forecasting참고 문헌 41인용 수 13

한 줄 요약

이 논문은 동적 시간 왜곡(DTW)과 shapeDTW를 사용하여 소스 패턴의 특징를 기준 패턴의 시간적 구조와 결정적으로 혼합하는 새로운 시계열 데이터 증강 방법인 가이드드 워핑을 제안한다. 결정적이고 구조 인식형 접근 방식을 통해 시계열 데이터 증강의 한계를 극복하고, 최근접 중심 분류기로 선택된 분류 기반 교사 모델을 활용하여 딥 네ural 네트워크의 일반화 성능을 향상시킨다. 이로 인해 VGG에서는 최대 9.5%의 정확도 향상을, Image Outline 데이터셋에서는 6.2%의 향상을 기록했으며, 특히 CNN에서는 효과가 뛰어나지만 RNN에는 그렇지 않다.

ABSTRACT

Neural networks have become a powerful tool in pattern recognition and part of their success is due to generalization from using large datasets. However, unlike other domains, time series classification datasets are often small. In order to address this problem, we propose a novel time series data augmentation called guided warping. While many data augmentation methods are based on random transformations, guided warping exploits the element alignment properties of Dynamic Time Warping (DTW) and shapeDTW, a high-level DTW method based on shape descriptors, to deterministically warp sample patterns. In this way, the time series are mixed by warping the features of a sample pattern to match the time steps of a reference pattern. Furthermore, we introduce a discriminative teacher in order to serve as a directed reference for the guided warping. We evaluate the method on all 85 datasets in the 2015 UCR Time Series Archive with a deep convolutional neural network (CNN) and a recurrent neural network (RNN). The code with an easy to use implementation can be found at https://github.com/uchidalab/time_series_augmentation .

연구 동기 및 목표

• 작은 시계열 분류 데이터셋이 딥 네ural 네트워크의 성능을 제한하는 문제를 해결한다.
• 시계열 데이터 증강에서 무작위 또는 히우리스틱 기반 방법의 한계를 극복하기 위해 결정적이고 구조 인식형 접근 방식을 도입한다.
• 분류 기반 기준 패턴을 사용한 타겟드 패턴 혼합을 통해 모델의 일반화 능력과 결정 경계 학습 능력을 향상시킨다.
• 가이드드 워핑을 통해 shapeDTW와 분류 기반 교사 모델을 활용하면 딥 러닝 모델, 특히 CNN의 성능 향상이 뚜렷하게 나타나는지를 입증한다.

제안 방법

• 가이드드 워핑은 DTW를 사용해 소스 시계열의 특징를 기준 시계열의 시간 단계 구조에 정렬함으로써 국소 패턴을 유지하면서도 시간 변동에 적응한다.
• 형태 기반 DTW(shapeDTW)는 원소 간 일치가 아닌 고수준의 형태 기반 서술자를 사용함으로써 정렬의 매끄러움을 향상시키고, 특징 보존 능력을 강화한다.
• 최근접 중심 분류기를 사용해 부트스트랩 샘플에서 분류 기반 교사를 선별함으로써 클래스 간 분離도와 클래스 내 분포를 극대화하여 유의미한 기준 패턴을 확보한다.
• 선택된 분류 기반 교사의 시간 단계 구조에 소스 패턴을 워핑하여 합성 학습 샘플을 생성함으로써 데이터셋의 다양성을 증가시킨다.
• 모든 85개의 UCR 시계열 아카이브 데이터셋에서 VGG와 LSTM 모델을 사용해 표준 학습 프로토콜과 하이퍼파라미터를 적용해 평가하였다.
• 구현 코드는 재현성과 통합을 위해 https://github.com/uchidalab/time_series_augmentation 에 공개되어 있다.

실험 결과

연구 질문

• RQ1 무작위 변환 대신 DTW 기반 워핑을 결정적 시계열 데이터 증강에 효과적으로 활용할 수 있는가?
• RQ2 표준 DTW 대비 shapeDTW를 사용하면 증강된 시계열 샘플의 품질과 관련성은 향상되는가?
• RQ3 클래스 간 분離도를 기반으로 선택된 분류 기반 교사 모델이 무작위 또는 메도이드 기반 기준보다 성능을 뛰어나게 하는가?
• RQ4 가이드드 워핑을 딥 네ural 네트워크와 함께 사용할 경우 일반화 능력과 정확도 향상이 이루어지는가? 특히 CNN과 RNN 간 비교 분석을 통해 확인한다.
• RQ5 다양한 데이터셋에서 기존 최고 수준의 기법들과 비교했을 때 가이드드 워핑은 어떤 성능을 보이는가?

주요 결과

• VGG 기반 CNN과 함께 사용했을 때, shapeDTW와 분류 기반 교사 모델을 활용한 가이드드 워핑(DGW-sD)은 모든 85개의 UCR 데이터셋에서 평균 3-4%의 정확도 향상을 기록했다.
• 가장 높은 정확도 향상은 Simulated(+9.5%), Image Outline(+6.2%), Device(+5.1%) 데이터셋에서 관찰되었으며, 이는 합성 및 구조적 시계열 데이터에서 뛰어난 성능을 보임을 시사한다.
• 분류 기반 교사 모델을 사용한 결과, DTW 및 shapeDTW 모두에서 랜덤 기준 선택 대비 성능 향상이 뚜렷하게 나타나, 타겟드 기준 선택의 유용성을 입증한다.
• LSTM 모델에서는 제안된 증강 기법으로 인한 유의미한 성능 향상이 관찰되지 않았다. 이는 RNN 모델이 시간 왜곡에 본질적으로 강건하기 때문이며, 이는 가이드드 워핑이 CNN과 함께 가장 효과적임을 시사한다.
• VGG 모델에서 DGW-sD는 모든 기준 증강 기법보다 뛰어난 성능을 보였으며, COTE와 Shapelet Transform를 제외하고는 비교 대비 경쟁력 있는 결과를 기록했다.
• 모델은 다양한 데이터셋 타입에서 뛰어난 안정성을 보였으며, 특히 구조적 일관성이 중요한 Symbol, OliveOil, ShapeletSim 데이터셋에서 뚜렷한 성능 향상을 보였다.