[논문 리뷰] A tale of two toolkits, report the first: benchmarking time series classification algorithms for correctness and efficiency

Anthony Bagnall, Franz J. Király외 3명|arXiv (Cornell University)|2019. 09. 12.

Time Series Analysis and Forecasting참고 문헌 26인용 수 7

한 줄 요약

이 논문은 오픈소스 파이썬 툴킷인 sktime에서 사용 가능한 여섯 가지 시계열 분류(TSC) 알고리즘을 tsml의 자바 구현체와 비교하여 성능을 평가하며, 높은 정확도의 동등성과 뚜렷한 효율성 차이를 입증한다. 주요 기여는 sktime의 구현을 검증하고, 두 툴킷 모두의 최적화 기회를 드러내는 종합적인 정확성 및 성능 평가이다.

ABSTRACT

sktime is an open source, Python based, sklearn compatible toolkit for time series analysis developed by researchers at the University of East Anglia (UEA), University College London and the Alan Turing Institute. A key initial goal for sktime was to provide time series classification functionality equivalent to that available in a related java package, tsml, also developed at UEA. We describe the implementation of six such classifiers in sktime and compare them to their tsml equivalents. We demonstrate correctness through equivalence of accuracy on a range of standard test problems and compare the build time of the different implementations. We find that there is significant difference in accuracy on only one of the six algorithms we look at (Proximity Forest). This difference is causing us some pain in debugging. We found a much wider range of difference in efficiency. Again, this was not unexpected, but it does highlight ways both toolkits could be improved.

연구 동기 및 목표

• 기존의 tsml 자바 툴킷에 구현된 시계열 분류(TSC) 알고리즘과 동일한 정확도를 보이는지 확인하기 위해 sktime 파이썬 툴킷에 구현된 TSC 알고리즘의 정확성을 검증한다.
• 여섯 가지 TSC 알고리즘에 대해 sktime와 tsml의 구현체 간 계산 효율성(빌드 및 예측 시간)을 평가하고 비교한다.
• 정확도 및 성능의 이질성을 규명하여 sktime 및 tsml 양쪽 모두의 향상 가능성을 제안한다.
• 공통의 오픈소스 프레임워크를 제공함으로써 TSC 연구의 재현성과 투명성을 지원한다.
• 다변량 및 길이가 다른 시계열 데이터 지원 등 향후 sktime 개발 방향을 안내하기 위해 최적화 및 확장의 핵심 영역을 식별한다.

제안 방법

• scikit-learn 호환 API를 사용하여 sktime에 여섯 가지 TSC 알고리즘—Time Series Forest(TSF), RISE, BOSS, Shapelet Transform Classifier, ElasticEnsemble(EE), Proximity Forest(PF)—을 구현한다.
• 표준 시계열 벤치마크 데이터셋을 사용해 sktime와 tsml의 모델 정확도를 비교함으로써 정확성의 타당성을 검증한다.
• 학습 및 예측 실행 시간을 측정하고 분석하여 두 툴킷 간의 계산 효율성을 평가한다.
• sktime의 contrib 모듈을 활용해 표준화된 데이터 로딩 및 평가 파이프라인을 구현하여 결과의 재현 가능성을 확보한다.
• sktime의 모듈러 아키텍처—변환기(transformers), 거리 측정 방법, 앙상블 파이프라인—을 활용해 분류기 구현 및 조합을 수행한다.
• 직접적 구현 방식(e.g., tsf.py)과 복합 파이프라인 기반 버전(e.g., Pipeline 및 FeatureUnion를 통한 구현)을 모두 평가하여 성능 트레이드오���을 분석한다.

실험 결과

연구 질문

• RQ1 sktime의 TSC 알고리즘 구현체는 정확도 측면에서 tsml의 대응 구현체와 기능적으로 동일한가?
• RQ2 sktime와 tsml의 구현체 간 학습 및 예측 효율성에 어떤 성능 차이가 있는가?
• RQ3 왜 sktime의 복합 파이프라인 기반 Time Series Forest 구현체는 직접 구현체보다 현저히 느린가?
• RQ4 RISE 및 BOSS의 효율성을 알고리즘적 또는 구현 최적화를 통해 sktime에서 향상시킬 수 있는가?
• RQ5 ElasticEnsemble 및 Proximity Forest와 같은 앙상블 방법은 두 툴킷 간 정확도 및 속도에서 어떻게 비교되는가?

주요 결과

• 모든 여섯 가지 TSC 알고리즘에 대해 sktime의 정확도는 표준 벤치마크 데이터셋에서 tsml의 대응 구현체와 동일하며, 유일한 예외는 Proximity Forest로, 이는 뚜렷한 정확도 이질성을 보이며 추가 디버깅이 필요한 잠재적 버그 또는 구현 불일치를 시사한다.
• Proximity Forest는 sktime와 tsml 간에 뚜렷한 정확도 차이를 보이며, 이는 잠재적 버그 또는 구현 불일치를 시사하며 향후 디버깅이 필요하다.
• 모든 알고리즘에서 뚜렷한 효율성 차이가 관찰되었으며, sktime의 구현체는 일반적으로 tsml보다 느리며, 특히 복합 파이프라인 구성에서 더욱 두드러진다.
• sktime의 복합 파이프라인 기반 Time Series Forest는 직접 구현체보다 현저히 느리며, 이는 파이프라인 조합 또는 특성 변환 파이프라인 내 효율성 결함을 시사한다.
• 성능 차이는 RISE(frequency-based) 및 BOSS(dictionary-based)의 경우 특히 두 툴킷 모두에서 최적화 기회를 드러내며, 이는 향후 개선 가능성을 시사한다.
• 본 연구는 sktime가 TSC 연구에 대해 정확하고 상호운용 가능한 기반을 제공하며, 성능 향상 및 향후 알고리즘 통합을 위한 명확한 길을 확보함을 확인한다.