[논문 리뷰] MrSQM: Fast Time Series Classification with Symbolic Representations

Thach Le Nguyen, Georgiana Ifrim|arXiv (Cornell University)|2021. 09. 02.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

MrSQM은 다수의 기호적 표현(SAX 및 SFA)과 효율적인 순서열 탐색을 사용하여 최소한의 계산 비용으로 분류에 유용한 특징을 추출하는 빠른 시계열 분류기이다. 기존의 기호적 방법들인 MrSEQL 및 HIVE-COTE보다 훨씬 빠른 2시간 이내의 학습 및 예측 시간을 확보하면서 ROCKET 및 MiniROCKET 수준의 최신 기술 성능을 달성하며, 구성 가능한 기호적 변환을 통해 조정 가능한 속도-정확도 트레이드오프를 제공한다.

ABSTRACT

Symbolic representations of time series have proven to be effective for time series classification, with many recent approaches including SAX-VSM, BOSS, WEASEL, and MrSEQL. The key idea is to transform numerical time series to symbolic representations in the time or frequency domain, i.e., sequences of symbols, and then extract features from these sequences. While achieving high accuracy, existing symbolic classifiers are computationally expensive. In this paper we present MrSQM, a new time series classifier which uses multiple symbolic representations and efficient sequence mining, to extract important time series features. We study four feature selection approaches on symbolic sequences, ranging from fully supervised, to unsupervised and hybrids. We propose a new approach for optimal supervised symbolic feature selection in all-subsequence space, by adapting a Chi-squared bound developed for discriminative pattern mining, to time series. Our extensive experiments on 112 datasets of the UEA/UCR benchmark demonstrate that MrSQM can quickly extract useful features and learn accurate classifiers with the classic logistic regression algorithm. Interestingly, we find that a very simple and fast feature selection strategy can be highly effective as compared with more sophisticated and expensive methods. MrSQM advances the state-of-the-art for symbolic time series classifiers and it is an effective method to achieve high accuracy, with fast runtime.

연구 동기 및 목표

• 기존 방법들보다 높은 계산 비용 없이 기호적 표현을 활용하는 빠르고 정확한 시계열 분류기를 개발하는 것.
• 기호적 시계열 분류에서 단순한 특징 선택 전략이 복잡하고 비싼 대안들을 능가할 수 있는지 조사하는 것.
• 사용하는 기호적 표현의 수와 종류를 제어하여 속도와 정확도 간의 조절 가능한 트레이드오프를 가능하게 하는 것.
• 효율적인 기호적 특징 추출과 선형 분류기 조합이 딥러닝 및 앙상블 모델의 성능을 따라하거나 능가할 수 있는지 입증하는 것.

제안 방법

• MrSQM은 원시 시계열 데이터를 기호적 시퀀스로 변환하기 위해 다수의 기호적 변환—기호적 평균 근사(SAX) 및 기호적 푸리에 근사(SFA)—를 적용한다.
• 학습 데이터의 모든 부분시퀀스에 대해 효율적인 순서열 탐색을 수행하여 분류에 기여하는 패턴을 식별한다.
• 새로운 지도 기반 특징 선택 방법을 제안하며, 분류 패턴 탐색에서 유래한 카이제곱 경계를 시계열에 적용하여 유망하지 않은 특징을 신속하게 제거한다.
• 하이브리드, 지도, 비지도 특징 선택 전략을 지원하며, 단순한 전략이 매우 효과적임을 입증한다.
• 최종 분류기로 로지스틱 회귀를 사용하여 필터링된 큰 특징 공간을 활용해 높은 정확도를 달성한다.
• 사용자가 기호적 표현의 수와 종류(예: MrSQM-k1, MrSQM-k5)를 제어할 수 있도록 프레임워크를 설계하여 속도와 정확도의 균형을 조절할 수 있다.

실험 결과

연구 질문

• RQ1 빠른 기호적 변환과 단순한 특징 선택 전략이 시계열 분류에서 높은 정확도를 달성할 수 있는가?
• RQ2 ROCKET, MiniROCKET, HIVE-COTE와 같은 최신 기술 방법과 비교할 때 MrSQM의 정확도 및 런타임 성능는 어떠한가?
• RQ3 다수의 기호적 표현(SAX 및 SFA)을 사용할 경우 특징의 다양성과 분류 정확도에 어떤 영향을 미치는가?
• RQ4 모든 부분시퀀스 공간에서의 효율적 특징 선택이 기호적 시계열 분류에서 더 복잡한 필터링 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ5 성능을 희생시키지 않고 기호적 분류기에서 속도와 정확도 간의 트레이드오프를 어느 정도 제어할 수 있는가?

주요 결과

• MrSQM은 112개의 UEA/UCR 벤치마크 데이터셋에서 최신 기술 성능을 달성하였으며, ROCKET와의 평균 정확도 차이는 0.002% 이하, MiniROCKET와는 0.007% 이하에 그친다.
• MrSQM은 112개의 모든 데이터셋에 대해 학습 및 예측을 1.5시간 내에 완료하여 MrSEQL(10시간)보다 훨씬 빠르며, ROCKET(2.5시간)와 유사한 속도를 보이며 WEASEL 및 MrSEQL보다 더 높은 정확도를 확보한다.
• MrSQM-k1 버전은 단 20분(0.33시간) 내에 높은 정확도를 달성하여 MiniROCKET의 속도를 능가하고 정확도는 동일하며, 상호 정확도 비교에서 상관계수 0.97를 기록한다.
• 단순한 특징 선택 전략이 더 복잡한 방법들을 능가함을 입증하여, 높은 성능을 내기 위해 고도로 복잡한 필터링이 필수적인 것은 아님을 보여준다.
• 기호적 표현과 효율적인 탐색, 선형 분류기를 조합하면 InceptionTime과 같은 딥러닝 모델과 HIVE-COTE와 같은 앙상블 모델의 정확도를 따라하거나 능가할 수 있으며, 학습 시간은 수 개의 주기만큼 단축된다.
• MrSQM의 성능는 ROCKET 및 MiniROCKET와 경쟁 가능하며, 이는 SFA를 통한 주파수 도메인 특징이 기호 형태로 효과적으로 캡처되고 활용됨을 시사한다.