[논문 리뷰] An Experimental Evaluation of Nearest Neighbour Time Series Classification

Anthony Bagnall, Jason Lines|arXiv (Cornell University)|2014. 06. 18.

Time Series Analysis and Forecasting참고 문헌 9인용 수 41

한 줄 요약

이 논문은 77개의 데이터셋을 사용하여 최근접 이웃 시계열 분류를 평가하며, DTW와 교차검증을 통한 윈도우 크기 최적화를 적용한 1-NN가 표준 기준보다 뚜렷이 뛰어난 성능을 보임을 입증한다. 유사도 거리 기반 1-NN는 간단한 분류기들에 의해 쉽게 뛰어넘어지지만, 최적화된 윈도우를 적용한 DTW는 강건하고 뛰어난 성능을 보이며, DTW의 가중치 적용은 윈도우 최적화 수준에 비해 유의미한 성능 향상이 없다는 것을 발견했다.

ABSTRACT

Data mining research into time series classification (TSC) has focussed on alternative distance measures for nearest neighbour classifiers. It is standard practice to use 1-NN with Euclidean or dynamic time warping (DTW) distance as a straw man for comparison. As part of a wider investigation into elastic distance measures for TSC~\cite{lines14elastic}, we perform a series of experiments to test whether this standard practice is valid. Specifically, we compare 1-NN classifiers with Euclidean and DTW distance to standard classifiers, examine whether the performance of 1-NN Euclidean approaches that of 1-NN DTW as the number of cases increases, assess whether there is any benefit of setting $k$ for $k$-NN through cross validation whether it is worth setting the warping path for DTW through cross validation and finally is it better to use a window or weighting for DTW. Based on experiments on 77 problems, we conclude that 1-NN with Euclidean distance is fairly easy to beat but 1-NN with DTW is not, if window size is set through cross validation.

연구 동기 및 목표

• 시계열 분류(TSC) 분야에서 1-NN와 유클리드 거리 기반 기준이 다른 분류기들과 비교해 여전히 타당한 기준이 되는지 경험적으로 검증하는 것.
• 학습 데이터 수가 증가함에 따라 1-NN와 DTW 기반 분류의 정확도가 1-NN와 유클리드 거리 기반 분류의 정확도에 수렴하는지 조사하는 것.
• k-NN에서 k를 교차검증을 통해 설정하는 것이 1-NN에 비해 성능 향상에 기여하는지 평가하는 것.
• DTW의 왜곡 윈도우 크기를 교차검증을 통해 최적화하는 것이 정확도 향상에 기여하는지 확인하는 것.
• TSC 분야에서 윈도우 적용과 가중치 적용의 효과를 비교하는 것.

제안 방법

• 77개의 시계열 분류 문제(UCR 레포지터리에서 43개, 이전 연구에서 24개, 신규로 확보한 전기 기기 데이터셋 5개 포함)에 대해 약 300만 번의 실험을 수행하였다.
• 유클리드 거리, DTW, LCSS, DDTW, WDTW, WDDTW를 사용한 1-NN 분류기들을 평가하였으며, 전체 윈도우 및 파라미터 최적화 버전을 포함하였다.
• 모든 방법 간의 공정한 비교를 위해 10겹 교차검증을 사용하여 k-NN의 k 값과 DTW의 왜곡 윈도우 크기를 튜닝하였다.
• 모든 분류기에서 훈련 세트에서 파라미터 최적화를 수행하였으며, WDTW와 WDDTW의 가중치 파라미터 g도 포함하였다.
• 평균 순위와 임계 차이도형을 사용하여 메서드 간 유의미한 차이를 평가하였다.
• 성능 차이가 통계적으로 유의미한지 평가하기 위해 5% 유의수준에서 통계적 검정을 수행하였다.

실험 결과

연구 질문

• RQ1 1-NN와 유클리드 거리 기반 기준은 새로운 TSC 알고리즘의 타당한 기준이 되는가, 아니면 간단한 분류기들에 의해 쉽게 뛰어넘어지는가?
• RQ2 학습 케이스 수가 증가함에 따라 1-NN와 유클리드 거리 기반 분류의 정확도가 1-NN와 DTW 기반 분류의 정확도에 수렴하는가?
• RQ3 k-NN에서 k를 교차검증을 통해 설정하는 것이 1-NN에 비해 유의미한 성능 향상 기여를 하는가, 아니면 1-NN로도 충분한가?
• RQ4 DTW의 왜곡 윈도우 크기를 교차검증을 통해 최적화하는 것이 유의미한 성능 향상 기여를 하는가?
• RQ5 가중치 적용이 포함된 DTW(WDTW) 알고리즘이 표준 DTW에 비해 유의미한 성능 향상을 보이는가, 아니면 윈도우 최적화만으로도 충분한가?

주요 결과

• 1-NN와 유클리드 거리 기반 기준은 파라미터 튜닝 없이도 표준 분류기(예: 트리 기반 또는 확률 기반)에 의해 쉽게 뛰어넘어지며, 이는 약한 기준임을 시사한다.
• 교차검증을 통한 윈도우 크기 최적화를 적용한 1-NN와 DTW 기반 분류는 전체 윈도우를 사용한 1-NN와 DTW 기반 분류보다 유의미하게 뛰어나며, 평균 정확도 향상 폭은 1.8%이다.
• k-NN에서 k를 교차검증을 통해 설정하는 것은 1-NN에 비해 유의미한 성능 향상이 없음을 확인하여, DTW 기반 분류에서는 1-NN로도 충분함을 시사한다.
• WDTW의 가중치 적용 방식은 교차검증을 통한 윈도우 크기 최적화를 적용한 DTW에 비해 유의미한 성능 향상이 없으며, 평균 정확도 차이는 뿐만 아니라 0.0056에 불과하다.
• LCSS는 이미지 및 동작 데이터에서 놀라울 정도로 뛰어난 성능을 보이며, 부분 수열 매칭 기법이 특정 문제 유형에 대해 전역 정렬 기반 기법보다 더 효과적일 수 있음을 시사한다.
• 상위 4개 분류기(DTWCV, WDTW, LCSS, DDTW) 간에는 유의미한 성능 차이가 없으나, 모두 전체 윈도우 기반 DTW와 유클리드 거리 기반 분류보다 뚜렷이 뛰어나다.