[논문 리뷰] The Great Time Series Classification Bake Off: An Experimental Evaluation of Recently Proposed Algorithms. Extended Version

Anthony Bagnall, Aaron Bostrom외 2명|arXiv (Cornell University)|2016. 02. 04.

Time Series Analysis and Forecasting인용 수 40

한 줄 요약

이 논문은 WEKA에 통합된 통합 자바 프레임워크를 사용하여 최근에 제안된 18개의 시계열 분류(TSC) 알고리즘을 평가하며, 85개의 표준화되고 정규화된 데이터셋에서 100회 반복 샘플링 실험을 수행한다. 집합적 변환 앙상블(COTE)은 모든 다른 알고리즘과 기준선을 크게 앞서며, 동적 시간 왜곡(DTW)보다 평균적으로 8% 높은 정확도를 기록하여 철저하고 재현 가능한 조건에서 현재까지 가장 정확한 TSC 방법으로 입증된다.

ABSTRACT

In the last five years there have been a large number of new time series classification algorithms proposed in the literature. These algorithms have been evaluated on subsets of the 47 data sets in the University of California, Riverside time series classification archive. The archive has recently been expanded to 85 data sets, over half of which have been donated by researchers at the University of East Anglia. Aspects of previous evaluations have made comparisons between algorithms difficult. For example, several different programming languages have been used, experiments involved a single train/test split and some used normalised data whilst others did not. The relaunch of the archive provides a timely opportunity to thoroughly evaluate algorithms on a larger number of datasets. We have implemented 18 recently proposed algorithms in a common Java framework and compared them against two standard benchmark classifiers (and each other) by performing 100 resampling experiments on each of the 85 datasets. We use these results to test several hypotheses relating to whether the algorithms are significantly more accurate than the benchmarks and each other. Our results indicate that only 9 of these algorithms are significantly more accurate than both benchmarks and that one classifier, the Collective of Transformation Ensembles, is significantly more accurate than all of the others. All of our experiments and results are reproducible: we release all of our code, results and experimental details and we hope these experiments form the basis for more rigorous testing of new algorithms in the future.

연구 동기 및 목표

• 이전의 TSC 알고리즘 평가에서 발생하는 일관성 없는 문제, 예를 들어 단일 훈련/테스트 분할, 일관되지 않은 데이터 정규화, 재현 불가능성 등의 문제를 해결하기 위해.
• WEKA 머신 러닝 툴킷을 사용한 자바에서의 통합 구현을 통해 TSC 알고리즘 평가를 위한 공통된 표준화된 프레임워크를 구축하기 위해.
• 일관된 전처리, 재샘플링 및 모델 선택을 적용하여 향후 TSC 연구를 위한 공정하고 재현 가능하며 투명한 기준을 제공하기 위해.
• 다양한 시계열 문제 유형에서 표준 기준선(1-NN DTW 및 1-NN 유클리드 거리)을 상회하는 알고리즘이 어느 정도로 유의미하게 뛰어나게 성능을 내는지 규명하기 위해.
• 모든 코드, 결과 및 실험 세부 사항을 공개하여 재현 가능성을 증진하고 향후 알고리즘 평가의 기초 자료로 활용하기 위해.

제안 방법

• 모든 18개의 알고리즘과 두 가지 기준 분류기(1-NN DTW 및 1-NN 유클리드 거리)는 WEKA 머신 러닝 툴킷에 통합된 단일 자바 프레임워크에 구현되었다.
• UCR 아카이브의 85개 시계열 데이터셋 각각이 정규화되고, 성능 추정의 정확성을 확보하기 위해 100회 반복된 재샘플링 실험을 수행하였다.
• 과적합을 방지하고 공정한 비교를 확보하기 위해, 각 알고리즘에 대해 교차 검증을 사용하여 모델 선택을 수행하였다.
• 집합적 변환 앙상블(COTE)은 형태소, 탄성 거리, 랜덤 포레스트 등의 기본 분류기들을 조합한 메타-앙상블로 구현되었다.
• 알고리즘 간 성능 비교를 위해 통계적 유의성 검정을 적용하였으며, 차이가 의미 있는지 평가하기 위해 비모수적 검정을 사용하였다.
• 모든 실험 코드, 결과 및 설정 파일을 공개하여 완전한 재현 가능성과 투명성을 확보하였다.

실험 결과

연구 질문

• RQ1 확장된 UCR 데이터셋 컬렉션에서 집합적 변환 앙상블(COTE)이 평가된 모든 다른 TSC 알고리즘과 표준 기준선을 유의미하게 뛰어넘는가?
• RQ2 최근의 TSC 알고리즘은 다양한 시계열 문제 유형에서 기존의 방법인 1-NN DTW 및 1-NN 유클리드 거리보다 일관되게 뛰어나게 성능을 내는가?
• RQ3 UCR 아카이브의 데이터 정규화 불일치 및 형식 오류가 알고리즘 성능 평가에 얼마나 심각하게 영향을 미치는가?
• RQ4 통합된 재현 가능한 실험 프레임워크는 TSC 알고리즘 비교의 변동성을 줄이고 신뢰성을 향상시킬 수 있는가?
• RQ5 형태소 기반, 앙상블, 탄성 거리 기반 등의 알고리즘 유형 중 어떤 것이 스펙트로그래프, 심전도(ECG), 또는 시뮬레이션 데이터와 같은 특정 문제 유형에서 가장 잘 성능을 내는가?

주요 결과

• COTE는 모든 85개 데이터셋에서 평균 정확도가 가장 높았으며, 모든 다른 알고리즘과 두 기준선 모두를 뚜렷이 앞섰다.
• 평가된 18개 알고리즘 중에서 1-NN DTW 및 1-NN 유클리드 거리 기준선보다 뚜렷이 더 정확한 것은 총 9개에 불과했다.
• COTE는 이전에 인정된 최상의 기준선인 1-NN DTW보다 평균적으로 8% 더 정확했다.
• 형태소 변환과 탄성 거리 기반 방법(예: EE)은 COTE 내에서 상위 성능을 내는 구성 요소로 나타나 그 뛰어난 성능에 기여하였다.
• 스펙트로그래프 데이터셋에서는 벡터 기반 분류기가 100%의 정확도를 기록했으며, COTE는 모든 문제 유형에서 전체적으로 가장 정확한 성능을 보였다.
• 본 연구는 데이터 품질 문제—예를 들어 ECG200의 잘못된 정규화, 정규화되지 않은 Coffee 데이터—가 성능 비교에 심각하게 영향을 미치고 알고리즘 정확도를 과대평가하게 할 수 있음을 확인하였다.