[논문 리뷰] Benchmarking Multivariate Time Series Classification Algorithms

Alejandro Pasos Ruiz, Michael Flynn외 1명|arXiv (Cornell University)|2020. 07. 26.

Time Series Analysis and Forecasting참고 문헌 15인용 수 13

한 줄 요약

이 논문은 26개의 동일한 길이의 UEA MTSC 아카이브 문제에 대해 12개의 다변량 시계열 분류(MTSC) 알고리즘을 벤치마킹하며, 딥러닝, 샤프트릿, 단어-집합 기반 방법과 같은 특화된 MTSC 방법들과 단변량 분류기 앙상블을 비교한다. 주요 발견은 각 차원에 대해 독립적으로 적용된 단변량 HIVE-COTE 분류기의 앙상블인 HIVE-COTE가 동적 시간 왜곡(DTW)을 크게 앞서는 최고의 정확도를 달성한다는 것이다. 반면 MUSE는 뛰어난 성능를 보이지만 높은 메모리 비용을 수반한다.

ABSTRACT

Time Series Classification (TSC) involved building predictive models for a discrete target variable from ordered, real valued, attributes. Over recent years, a new set of TSC algorithms have been developed which have made significant improvement over the previous state of the art. The main focus has been on univariate TSC, i.e. the problem where each case has a single series and a class label. In reality, it is more common to encounter multivariate TSC (MTSC) problems where multiple series are associated with a single label. Despite this, much less consideration has been given to MTSC than the univariate case. The UEA archive of 30 MTSC problems released in 2018 has made comparison of algorithms easier. We review recently proposed bespoke MTSC algorithms based on deep learning, shapelets and bag of words approaches. The simplest approach to MTSC is to ensemble univariate classifiers over the multivariate dimensions. We compare the bespoke algorithms to these dimension independent approaches on the 26 of the 30 MTSC archive problems where the data are all of equal length. We demonstrate that the independent ensemble of HIVE-COTE classifiers is the most accurate, but that, unlike with univariate classification, dynamic time warping is still competitive at MTSC.

연구 동기 및 목표

• 실제 다변량 시계열 분류(MTSC) 문제에서 최근의 특화된 다변량 시계열 분류(MTSC) 알고리즘의 성능을 단순한 단변량 분류기 앙상블과 평가하고 비교하는 것.
• 차원 간 상호작용을 모델링하는 알고리즘과 각 차원을 독립적으로 처리하는 알고리즘의 효과성을 평가하는 것.
• 현재 MTSC 분야의 최고 수준을 규명하고 다변량 시계열을 위한 알고리즘 개발의 격차를 드러내는 것.
• 데이터 정규화와 왜곡 창 크기 조정이 다변량 환경에서 DTW 성능에 미치는 영향을 평가하는 것.
• UEA MTSC 아카이브를 활용해 향후 MTSC 연구를 위한 기준 플랫폼을 제공하는 것.

제안 방법

• 연구는 딥러닝 모델(MLCN, TapNet), 샤프트릿 기반 방법(Random Shapelet Forest), 단어-집합 기반 방법(MUSE), 거리 기반 방법(DTW 변종)을 포함한 12개의 MTSC 알고리즘을 평가한다.
• 각 알고리즘에 대해, UEA 아카이브의 26개의 동일한 길이의 MTSC 문제에서 10겹 교차검증을 사용하여 테스트 정확도와 균형 잡힌 테스트 정확도를 계산한다.
• 독립적 앙상블 전략은 각 차원에 대해 단변량 HIVE-COTE 분류기를 별도로 적용하고, 다수결 투표를 통해 예측을 통합한다.
• 동적 시간 왜곡(DTW)은 각 차원에 대해 독립적으로 적용하고, 다변량 형태로도 적용하며, 왜곡 창 제약 조건이 있는지 여부에 따라 적용한다.
• 성능 비교는 중요도 차이도표와 통계 분석을 통해 이루어지며, 다수결 클래스 예측이 최적일 경우의 데이터셋은 제외된다.
• 특히 MUSE는 비지도 기반의 기호화와 도함수 특징을 사용하므로, 메모리 사용량과 계산 비용을 측정한다.

실험 결과

연구 질문

• RQ1 표준 단변량 벤치마크인 동적 시간 왜곡(DTW)은 다변량 시계열 분류에서 여전히 경쟁력이 있는가?
• RQ2 각 차원을 독립적으로 처리하는 앙상블 방법이 특화된 다변량 데이터 전용 알고리즘을 능가할 수 있는가?
• RQ3 딥러닝 기반 MTSC 모델(MLCN, TapNet 등)은 전통적 또는 샤프트릿 기반 접근법과 비교해 정확도와 안정성 측면에서 어떻게 다른가?
• RQ4 차원 간 특징 상호작용이 분류 성능에 미치는 영향은 무엇이며, 어떤 알고리즘이 이를 가장 잘 활용하는가?
• RQ5 메모리 사용량과 계산 비용은 MUSE와 같은 고급 MTSC 알고리즘의 확장성과 실용적 구현에 어떤 영향을 미치는가?

주요 결과

• 각 차원에 대해 독립적으로 적용된 단변량 HIVE-COTE 분류기의 앙상블인 HIVE-COTE가 26개의 MTSC 문제에서 가장 높은 테스트 정확도를 달성한다.
• 동적 시간 왜곡(DTW)은 경쟁력이 있지만, 특히 튜닝 없이 전 창 크기 DTW를 사용할 경우 HIVE-COTE에 크게 뒤지며, 성능이 떨어진다.
• MUSE(Word extraction for time series with Multivariate Unsupervised Symbols and dErivatives)는 HIVE-COTE와 유사한 성능를 보이지만, 평균적으로 문제당 26GB의 메모리 오버헤드를 유발하며, HIVE-COTE의 1.6GB와 비교해 극도로 높은 메모리 비용을 수반한다.
• 두 개의 딥러닝 모델인 MLCN과 TapNet는 중간 수준의 성능를 보이며, 일관성 없는 결과를 보이며 가끔 완전히 실패하는 경우가 있어, 현재로서는 MTSC 분야에서 최고 수준의 성능를 내지 못하고 있음을 시사한다.
• 샤프트릿 기반 방법은 차원 간 상호작용을 명시적으로 모델링하지 않음에도 불구하고 상대적으로 양호한 성능를 보이며, 고차원 또는 긴 시퀀스에서의 활용 가능성을 시사한다.
• 6개의 데이터셋(AF, FM, HB, MI, SRS2, SWJ)은 미미한 분류 신호를 보이며, 심지어 다수결 클래스 예측도 많은 알고리즘을 뛰어넘는다. 이는 데이터 품질이나 문제 자체의 어려움을 시사한다.