[논문 리뷰] Experimental Comparison of Representation Methods and Distance Measures for Time Series Data

Xiaoyue Wang, Hui Ding외 3명|arXiv (Cornell University)|2010. 12. 09.

Time Series Analysis and Forecasting참고 문헌 48인용 수 11

한 줄 요약

이 논문은 38개의 다양한 실세계 데이터셋을 대상으로 8종의 시계열 표현 방법과 9종의 유사도 측정 방법을 종합적으로 실험적으로 비교한다. 결과적으로, 작고 작은 데이터셋에서는 DTW, LCSS, ERP와 같은 탄성 거리 측정 방법이 유클리드 거리보다 뚜렷이 뛰어난 성능을 보이며, 더 큰 학습 데이터셋을 사용할수록 정확도가 수렴함을 확인하였고, 제약된 워핑 윈도우는 정확도를 희생시키지 않은 채 효율성을 향상시킴을 밝혀냈다.

ABSTRACT

The previous decade has brought a remarkable increase of the interest in applications that deal with querying and mining of time series data. Many of the research efforts in this context have focused on introducing new representation methods for dimensionality reduction or novel similarity measures for the underlying data. In the vast majority of cases, each individual work introducing a particular method has made specific claims and, aside from the occasional theoretical justifications, provided quantitative experimental observations. However, for the most part, the comparative aspects of these experiments were too narrowly focused on demonstrating the benefits of the proposed methods over some of the previously introduced ones. In order to provide a comprehensive validation, we conducted an extensive experimental study re-implementing eight different time series representations and nine similarity measures and their variants, and testing their effectiveness on thirty-eight time series data sets from a wide variety of application domains. In this paper, we give an overview of these different techniques and present our comparative experimental findings regarding their effectiveness. In addition to providing a unified validation of some of the existing achievements, our experiments also indicate that, in some cases, certain claims in the literature may be unduly optimistic.

연구 동기 및 목표

• 최신 시계열 표현 및 유사도 측정 방법에 대한 통합적이고 대규모 실험적 검증을 제공하기 위해.
• 다양한 실세계 시계열 데이터에서 다양한 표현 및 거리 측정 방법의 상대적 효과성을 평가하기 위해.
• 일관되고 통제된 조건에서 실험함으로써 이전 문헌에서 제기된 주장의 도전 또는 확인을 위해.
• 특정 방법이 데이터 크기나 노이즈 조건에서 다른 방법보다 뛰어난 성능을 보이는 조건을 규명하기 위해.
• 향후 시계열 쿼리 및 마이닝 분야의 연구를 위한 벤치마크 및 참고 자료로 기능하기 위해.

제안 방법

• DFT, DCT, DWT, PAA, APCA, CHEB, SAX, IPLA를 포함한 8종의 차원 축소 표현 방법을 재현하였다.
• 유클리드 거리, DTW, LCSS, ERP, EDR, DISSIM, Swale, SpADe, TQuEST를 포함한 9종의 유사도 측정 방법을 재현하였다.
• 금융, 생체신호, 센서 데이터, 동작 추적 등 다양한 분야에서 온 38개의 실세계 시계열 데이터셋을 대상으로 평가하였다.
• 다양한 학습 데이터셋 크기를 가진 표준 분류 작업을 통해 방법 간 정확도를 비교하였다.
• 탄성 측정 방법에 제약된 워핑 윈도우를 적용하여 계산 효율성과 하한 경계 가능성의 영향을 평가하였다.
• 결과에 대한 통계적 분석을 수행하여 유의성과 데이터셋 간 일반화 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 다양한 표현 방법은 잘라내기 능력과 색인 효과성 측면에서 어떻게 비교되는가?
• RQ2 작은 데이터셋과 큰 데이터셋에서 탄성 거리 측정 방법(DTW, LCSS 등)과 유클리드 거리의 분류 정확도는 어떻게 비교되는가?
• RQ3 탄성 측정 방법의 워핑 윈도우를 제약함으로써 효율성이 향상되고 정확도가 유지되거나 향상되는가?
• RQ4 TQuEST 및 SpADe와 같은 신규 유사도 측정 방법은 DTW와 같은 기존 방법보다 정확도에서 어떻게 비교되는가?
• RQ5 학습 데이터셋 크기를 증가시킬수록 어떤 정도로 유사도 측정 방법의 정확도가 향상되는가?

주요 결과

• 작은 학습 데이터셋에서 DTW, LCSS, EDR, ERP와 같은 탄성 거리 측정 방법이 유클리드 거리보다 뚜렷이 뛰어난 성능을 보이며, 여러 데이터셋에서 정확도 향상이 관찰되었다.
• 학습 데이터셋 크기가 50에서 2000으로 증가함에 따라 DTW와 유클리드 거리의 오류율이 한 계단 이상 감소하여 성능 수렴을 보였다.
• DTW와 LCSS의 워핑 윈도우를 제약함으로써 계산 비용을 줄이고 효과적인 하한 경계를 확보할 수 있었으며, 제약이 없는 버전과 비교해 정확도를 유지하거나 향상시켰다.
• 편집 거리 기반 측정 방법(LCSS, EDR, ERP)은 40년 전에 개발된 간단한 기법인 DTW와 매우 유사한 정확도를 달성하여 강력한 경쟁력을 보였다.
• TQuEST 및 SpADe와 같은 신규 측정 방법은 DTW 및 LCSS와 같은 탄성 측정 방법보다 일반적으로 정확도가 열 劣하다.
• 학습 데이터가 제한된 경우, 적절한 유사도 측정 방법을 선택하는 것은 정확도 향상에 기여할 수 있으나, 단일 분할에서 많은 측정 방법을 테스트할 경우 과적합 및 허구적 성과의 위험이 있다.