[논문 리뷰] A tale of two toolkits, report the third: on the usage and performance of HIVE-COTE v1.0

Anthony Bagnall, Michael Flynn외 3명|arXiv (Cornell University)|2020. 04. 13.

Time Series Analysis and Forecasting참고 문헌 21인용 수 14

한 줄 요약

이 논문은 시간 시리즈 분류를 위한 확장성 있고 구성 가능한 이종 앙상블인 HIVE-COTE v1.0을 제시한다. 원래의 HIVE-COTE를 개선하기 위해 느린 Elastic Ensemble를 제거하고 STC 내의 샤프트릿 수를 줄였다. 이는 InceptionTime 및 TS-CHIEF와 유사한 최첨단 정확도를 달성하면서도, 효율성 향상, 런타임 제어, 체크포인팅, 조정 가능성 향상으로 인해 뛰어난 성능을 보이며, 109개의 UCR 데이터셋 전반에서 높은 성능 유지를 유지한다.

ABSTRACT

The Hierarchical Vote Collective of Transformation-based Ensembles (HIVE-COTE) is a heterogeneous meta ensemble for time series classification. Since it was first proposed in 2016, the algorithm has undergone some minor changes and there is now a configurable, scalable and easy to use version available in two open source repositories. We present an overview of the latest stable HIVE-COTE, version 1.0, and describe how it differs to the original. We provide a walkthrough guide of how to use the classifier, and conduct extensive experimental evaluation of its predictive performance and resource usage. We compare the performance of HIVE-COTE to three recently proposed algorithms using the aeon toolkit.

연구 동기 및 목표

• 시간 시리즈 분류를 위한 더 실용적이고 확장성 있고 사용자 우아한 HIVE-COTE의 버전을 개발하기 위해.
• 특히 Elastic Ensemble와 STC 내의 전체 샤프트릿 수 추정을 제거하여 계산 효율성을 향상시키기 위해.
• 실제 응용 분야에서의 사용성 향상을 위해 런타임 제어, 체크포인팅, 하이퍼파rameter 조정을 가능하게 하기 위해.
• UCR 아카이브에서 HIVE-COTE v1.0을 사용하여 시간 시리즈 분류의 새로운 벤치마크를 수립하기 위해.
• 최근 최첨단 모델인 InceptionTime, TS-CHIEF, ROCKET와의 성능, 속도, 메모리 사용량을 비교하기 위해.

제안 방법

• HIVE-COTE v1.0은 CAWPE(Cross-validation Accuracy Weighted Probabilistic Ensemble) 기반의 계층적 앙상블 구조를 사용하며, 정확도 가중 확률 추정치를 이용해 분류기 출력을 결합한다.
• 기존의 Elastic Ensemble를 간소화된 구성 요소 세트로 대체한다: Time Series Forest(TSF), cBOSS, RISE, 그리고 제한된 샤프트릿 수 추정을 가진 수축된 STC.
• 각 구성 요소는 서로 다른 데이터 표현 방식에서 독립적으로 훈련되며, 예측 결과는 추정된 테스트 정확도에 기반한 가중 투표 방식으로 융합된다.
• 이 프레임워크는 런타임 제한 설정, 장시간 실행 작업에 대한 체크포인팅, 훈련 세트 성능 기반의 하이퍼파rameter 조정을 지원한다.
• 알고리즘은 tsml 라이브러리에 구현되어 있어, TS-CHIEF 및 InceptionTime과 같은 다른 tsml 기반 모델과 직접 비교할 수 있다.
• 정확도, 훈련 시간, 추론 시간, 메모리 사용량을 지표로 하여 109개의 UCR 시간 시리즈 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 HIVE-COTE v1.0은 InceptionTime, TS-CHIEF, ROCKET와 같은 최근 최첨단 모델들과 비교해 표준 UCR 벤치마크에서 정확도 측면에서 어떻게 성능을 내는가?
• RQ2 기존 HIVE-COTE의 성능 저하 요인은 무엇이며, 알고리즘적 및 엔지니어링적 개선을 통해 어떻게 완화할 수 있는가?
• RQ3 HIVE-COTE v1.0은 훈련 및 추론 시간을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ4 런타임 제한, 체크포인팅, 조정 가능성의 통합이 HIVE-COTE의 실용적 사용성에 어떤 영향을 미치는가?
• RQ5 HIVE-COTE v1.0의 메모리 및 계산 프로파일은 다른 선도적인 TSC 모델들과 비교해 어떻게 되는가?

주요 결과

• HIVE-COTE v1.0은 109개의 UCR 데이터셋에서 최첨단 평균 정확도를 달성하였으며, InceptionTime, TS-CHIEF, ROCKET와 유사한 성능을 보였다.
• Elastic Ensemble 제거와 STC 내 샤프트릿 수 추정 감소로 인해 훈련 속도가 크게 향상되어 평균 훈련 시간이 4.26시간에서 더 다룰 수 있는 수준으로 감소하였다.
• STC는 여전히 훈련 및 추론에서 가장 느린 구성 요소이지만, 이제는 1시간의 시간 제한으로 제약을 받음으로써 과도한 계산을 방지한다.
• HIVE-COTE v1.0의 평균 추론 시간은 1개 데이터셋당 0.78분으로, TS-CHIEF(4.09분)보다 빠르며 원래 HIVE-COTE보다도 뚜렷하게 빠르다.
• 메모리 사용량은 HIVE-COTE v1.0이 가장 높았으며(평균 1,618 MB, 최대 4,426 MB), 그러나 TS-CHIEF(최대 18,532 MB)보다 낮아 더 나은 확장성을 보였다.
• ROCKET는 속도에서 HIVE-COTE v1.0을 능가하지만, 여러 데이터셋에서 실패하는 등 더 취약하며, HIVE-COTE v1.0은 더 높은 구성 가능성과 신뢰성을 제공한다.