[논문 리뷰] Proximity Forest 2.0: A new effective and scalable similarity-based classifier for time series

Matthieu Herrmann, Chang Wei Tan외 2명|arXiv (Cornell University)|2023. 04. 12.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

Proximity Forest 2.0 (PF 2.0)는 시간 시리즈를 위한 보다 빠르고 정확한 유사도 기반 분류기로, 최근 세 가지 기여를 통합한 것이다: 효율적인 탄성 유사도 계산을 위한 조기 기각 및 가지치기, 새로운 Amerced Dynamic Time Warping (ADTW) 측정법, 그리고 비용 함수 튜닝. UCR 기준 평가에서 이전의 모든 유사도 기반 방법을 능가하며, 특히 유사도 기반 학습에 가장 적합한 데이터셋인 SmoothSubspace에서 최신 기술의 커널, 신경망, 하이브리드 모델을 초월한다.

ABSTRACT

Time series classification (TSC) is a challenging task due to the diversity of types of feature that may be relevant for different classification tasks, including trends, variance, frequency, magnitude, and various patterns. To address this challenge, several alternative classes of approach have been developed, including similarity-based, features and intervals, shapelets, dictionary, kernel, neural network, and hybrid approaches. While kernel, neural network, and hybrid approaches perform well overall, some specialized approaches are better suited for specific tasks. In this paper, we propose a new similarity-based classifier, Proximity Forest version 2.0 (PF 2.0), which outperforms previous state-of-the-art similarity-based classifiers across the UCR benchmark and outperforms state-of-the-art kernel, neural network, and hybrid methods on specific datasets in the benchmark that are best addressed by similarity-base methods. PF 2.0 incorporates three recent advances in time series similarity measures -- (1) computationally efficient early abandoning and pruning to speedup elastic similarity computations; (2) a new elastic similarity measure, Amerced Dynamic Time Warping (ADTW); and (3) cost function tuning. It rationalizes the set of similarity measures employed, reducing the eight base measures of the original PF to three and using the first derivative transform with all similarity measures, rather than a limited subset. We have implemented both PF 1.0 and PF 2.0 in a single C++ framework, making the PF framework more efficient.

연구 동기 및 목표

• 다양한 UCR 기준 평가 데이터셋에서 기존 방법을 능가하는 더 효과적이고 확장 가능한 유사도 기반 시간 시리즈 분류기를 개발하는 것.
• 최근 시간 시리즈 유사도 측정 기법—특히 조기 기각, ADTW, 비용 함수 튜닝—을 통합한 유일한 프레임워크를 개발하는 것.
• 사용된 유사도 측정법의 집합을 합리화하여 중복을 줄이고 일반화 능력을 향상시키기 위해 핵심 측정법 세 가지(ADTW, cDTW, LCSS)만 선택하는 것. 각 측정법은 제1도함수 변환을 적용한다.
• 제안된 유사도 측정법 집합이 Proximity Forest 2.0뿐 아니라 유사도 기반 모델(예: Elastic Ensemble)의 성능 향상에도 기여함을 보여주는 것.
• PF 1.0과 PF 2.0을 하나의 최적화된 C++ 프레임워크에 통합하여 계산 효율성을 향상시키는 것.

제안 방법

• 시간 시리즈 매칭에서 강건성과 정확도를 향상시키는 새로운 탄성 유사도 측정법인 Amerced Dynamic Time Warping (ADTW)를 도입한다.
• 특히 DTW 기반 측정법에 적합한 계산 효율적인 조기 기각 및 가지치기 기법을 적용하여 탄성 유사도 계산 속도를 높인다.
• DTW 유사한 측정법에 대해 비용 함수 튜닝을 적용하여 전진 허용 비용 및 정렬 비용과 같은 매개변수를 최적화함으로써 분류 성능을 향상시킨다.
• ADTW, cDTW, LCSS의 세 핵심 측정법 모두에 제1도함수 변환을 적용하여 형태와 추세 패턴에 대한 민감도를 높인다.
• PF 1.0에서 여덟 개의 기본 유사도 측정법에서 PF 2.0에서는 ADTW, cDTW, LCSS의 세 가지로 단순화하여 중복되거나 효과가 떨어지는 측정법을 제거한다.
• 전체 프레임워크를 하나의 고성능 C++ 라이브러리로 구현하여 속도를 크게 향상시키고, PF 1.0과 PF 2.0 간의 공정한 계산 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 최근 시간 시리즈 유사도 측정 기법의 기여를 통합함으로써, 유사도 기반 분류기가 상당히 더 빠르고 정확해질 수 있는가?
• RQ2 더 큰 중복 집합을 사용하는 것보다, 줄인 합리화된 유사도 측정법 집합을 사용할 경우 일반화 능력 향상과 과적합 방지에 기여하는가?
• RQ3 비용 함수 튜닝과 조기 기각이 유사도 기반 시간 시리즈 분류의 성능과 효율성에 어느 정도 기여하는가?
• RQ4 제안된 유사도 측정법 집합(ADTW, cDTW, LCSS)은 Proximity Forest를 초월해 다른 유사도 기반 모델의 성능 향상에 재사용 가능한가?
• RQ5 PF 2.0은 이전의 모든 유사도 기반 방법 뿐 아니라, 특히 유사도 기반 접근이 가장 효과적인 데이터셋에서 최신 기술의 커널, 신경망, 하이브리드 모델을 초월할 수 있는가?

주요 결과

• SmoothSubspace 데이터셋에서 PF 2.0는 모든 다른 최신 기술 방법보다 상당히 낮은 오차를 기록하며, 이는 유사도 기반 접근이 지배하는 기준 평가에서의 성과이다.
• 109개 데이터셋으로 구성된 전체 UCR 기준 평가에서 PF 2.0는 PF 1.0 및 Elastic Ensemble 변종을 포함한 이전의 모든 유사도 기반 분류기보다 뛰어난 성능을 보였다.
• UCR 기준 평가에서 PF 2.0는 가장 정확하고 빠른 유사도 기반 TSC 알고리즘이며, PF 1.0에 비해 상당한 성능 우위를 점했다.
• 비용 함수 튜닝은 모든 DTW 유사한 측정법에서 성능 향상을 이끌었으며, EE+와 PF+는 비트루닝된 대비보다 더 높은 정확도를 보였다.
• 제1도함수 변환을 적용한 새로운 세 가지 유사도 측정법(ADTW, cDTW, LCSS)은 원래 측정법을 대체함으로써 Elastic Ensemble의 성능을 향상시켜 속도와 정확도 양면에서 개선을 이뤘다.
• PF 2.0의 C++ 구현은 계산 오버헤드를 줄였고, PF 1.0과의 공정하고 효율적인 비교를 가능하게 하였으며, 이전 자바 기반 구현 대비 상당한 속도 향상을 입증했다.