[논문 리뷰] Benchmarking time series classification -- Functional data vs machine learning approaches

Florian Pfisterer, Laura Beggel외 3명|arXiv (Cornell University)|2019. 11. 18.

Time Series Analysis and Forecasting참고 문헌 35인용 수 8

한 줄 요약

이 논문은 시계열 분류를 위한 기능 데이터 분석(FDA) 및 기계 학습(ML) 방법을 벤치마킹하며, 다양한 FDA 기법과 기능 추출 파이프라인을 mlr 툴박스를 사용한 통합 R 프레임워크에 통합한다. 조정된 기능 추출과 전통적인 ML 모델(예: xgboost, 랜덤 포레스트)의 조합이 종종 전용 FDA 방법을 능가함을 보여주며, 하이퍼파rameter 튜닝으로 오차가 최대 20.3% 감소함으로써 비전문가를 위한 실용적이고 접근하기 쉬우며 높은 성능을 발휘하는 파이프라인을 제공한다.

ABSTRACT

Time series classification problems have drawn increasing attention in the machine learning and statistical community. Closely related is the field of functional data analysis (FDA): it refers to the range of problems that deal with the analysis of data that is continuously indexed over some domain. While often employing different methods, both fields strive to answer similar questions, a common example being classification or regression problems with functional covariates. We study methods from functional data analysis, such as functional generalized additive models, as well as functionality to concatenate (functional-) feature extraction or basis representations with traditional machine learning algorithms like support vector machines or classification trees. In order to assess the methods and implementations, we run a benchmark on a wide variety of representative (time series) data sets, with in-depth analysis of empirical results, and strive to provide a reference ranking for which method(s) to use for non-expert practitioners. Additionally, we provide a software framework in R for functional data analysis for supervised learning, including machine learning and more linear approaches from statistics. This allows convenient access, and in connection with the machine-learning toolbox mlr, those methods can now also be tuned and benchmarked.

연구 동기 및 목표

• 시계열 분류를 위한 기능 데이터 분석과 기계 학습 방법의 종합적이고 접근 가능한 성능 비교를 제공하기 위해.
• mlr 프레임워크를 사용하여 다양한 FDA 및 ML 도구를 단일이고 일관된 API 아래 통합하여 비교 및 튜닝을 용이하게 하기 위해.
• 다양한 시계열 데이터셋에서 전문적인 FDA 방법과 기능 추출 + ML 파이프라인의 성능을 평가하기 위해.
• 실증적 성능 비교와 하이퍼파rameter 튜닝을 통해 비전문가 사용자가 최적의 모델을 선택할 수 있도록 안내하기 위해.
• 문헌에서 미비한 점을 보완하기 위해 하이퍼파rameter 튜닝의 영향과 기능 추출 기법을 기능 데이터에서 체계적으로 평가하기 위해.

제안 방법

• fda, FDboost, fda.usc 등 여러 R 패키지를 사용하여 기능 데이터 분석(FDA)을 위한 통합 인터페이스를 mlr 프레임워크를 통해 통합한다.
• 기능 데이터 사전 처리, 기능 추출(예: B-스플라인, 웨이블릿, 푸리에 변환) 및 전통적인 ML 모델(예: 랜덤 포레스트, xgboost, SVM)을 포함한 엔드 투 엔드 워크플로우를 가능하게 한다.
• 모든 방법-기능 조합에 대해 효율적인 하이퍼파rameter 튜닝을 위해 베이지안 최적화를 사용한다.
• 표준화된 리샘플링, 성능 지표(MMCE), 그리고 23개의 다양한 시계열 데이터셋에 대한 병렬 벤치마킹을 수행한다.
• 기능 모델링(FGA 모델 등)과 전환 파이프라인을 통한 비기능 기반 모델링을 모두 지원한다.
• 오픈소스 R 코드를 제공하며, mlr와의 통합을 통해 자동 튜닝, 벤치마킹 및 모델 선택을 지원한다.

실험 결과

연구 질문

• RQ1 기능 데이터에서 추출된 벡터형 기능에 적용된 고전적 기계 학습 모델이 전용 기능 데이터 분석 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 하이퍼파rameter 튜닝과 기능 추출 기법은 시계열 분류 모델의 성능에 어떤 영향을 미치는가?
• RQ3 해석 가능한 기능 데이터 분석 방법인 FDboost는 표준 시계열 분류 벤치마크에서 경쟁적으로 성능을 내는가?
• RQ4 어떤 기능 추출 기법과 기계 학습 모델의 조합이 다양한 시계열 데이터에서 가장 강력하고 정확한 결과를 낳는가?
• RQ5 비전문가가 쉽게 FDA 및 ML 방법을 비교, 튜닝, 구현할 수 있는 실용적인 통합 프레임워크가 존재하는가?

주요 결과

• 튜닝은 모델 성능을 크게 향상시키며, xgboost와 함께 푸리에 기반 기능 추출에 대해 절대 MMCE를 최대 20.3% 감소시킴.
• 모든 기능 추출 기법에 대해 평균적으로 MMCE 감소율은 FDboost에서 11%, ksvm에서 7.78%, xgboost에서 5.69%, ranger에서 3.59%였음.
• 사전 처리 없이 단순한 랜덤 포레스트는 모든 데이터셋에서 평균 순위 15.59(상위 4위 이내)를 기록하여 강력한 베이스라인으로 기능함.
• B-스플라인(bsignal) 및 웨이블릿 분해와 같은 기능 추출 기법은 xgboost나 랜덤 포레스트와 조합했을 때 매우 경쟁력 있는 모델을 생성함.
• 모든 데이터셋에 걸쳐 파레토 최적의 모델 조합은 23개의 고유한 알고리즘-기능 추출 조합을 포함하여 최적 설정의 높은 다양성을 보임.
• 해석 가능성은 높지만, 전용 FDA 방법인 FDboost는 벤치마크에서 성능이 좋지 않아 표준 시계열 작업에 대한 일반화 능력이 제한됨을 시사함.