[논문 리뷰] Monash University, UEA, UCR Time Series Extrinsic Regression Archive

Chang Wei Tan, Christoph Bergmeir외 2명|arXiv (Cornell University)|2020. 06. 19.

Time Series Analysis and Forecasting참고 문헌 32인용 수 11

한 줄 요약

이 논문은 단일 연속적인 값을 단변량 또는 다변량 시계열에서 예측하는 문제 유형인 시계열 외부 회귀분석(TSER)을 위한 최초의 벤치마킹 아카이브를 소개한다. 이는 시계열 예측 또는 분류와는 구별되는 새로운 문제 유형이다. 아카이브에는 길이, 결측치, 차원 수가 다른 다양한 특성을 가진 19개의 데이터셋이 포함되어 있으며, 13개의 알고리즘을 평가하여, 최신 기술인 Rocket(시계열 분류(TSC) 분야의 최고 수준 방법)가 기존의 전통적 기계학습 및 기능적 회귀 분석 방법보다 뛰어난 성능을 보였다.

ABSTRACT

Time series research has gathered lots of interests in the last decade, especially for Time Series Classification (TSC) and Time Series Forecasting (TSF). Research in TSC has greatly benefited from the University of California Riverside and University of East Anglia (UCR/UEA) Time Series Archives. On the other hand, the advancement in Time Series Forecasting relies on time series forecasting competitions such as the Makridakis competitions, NN3 and NN5 Neural Network competitions, and a few Kaggle competitions. Each year, thousands of papers proposing new algorithms for TSC and TSF have utilized these benchmarking archives. These algorithms are designed for these specific problems, but may not be useful for tasks such as predicting the heart rate of a person using photoplethysmogram (PPG) and accelerometer data. We refer to this problem as Time Series Extrinsic Regression (TSER), where we are interested in a more general methodology of predicting a single continuous value, from univariate or multivariate time series. This prediction can be from the same time series or not directly related to the predictor time series and does not necessarily need to be a future value or depend heavily on recent values. To the best of our knowledge, research into TSER has received much less attention in the time series research community and there are no models developed for general time series extrinsic regression problems. Most models are developed for a specific problem. Therefore, we aim to motivate and support the research into TSER by introducing the first TSER benchmarking archive. This archive contains 19 datasets from different domains, with varying number of dimensions, unequal length dimensions, and missing values. In this paper, we introduce the datasets in this archive and did an initial benchmark on existing models.

연구 동기 및 목표

• 시계열 분류(TSC) 및 예측(TSF)과는 다름을 분명히 하는 시계열 외부 회귀분석(TSER) 문제 유형에 대한 표준화된 벤치마킹 자원의 부족을 해결하기 위해.
• 에너지 모니터링, 헬스케어(PhysioNet), 기상학(BOM), WHO, 신호 처리 경연 대회, 학술 기부 기부 등 다양한 분야에서 수집된 19개의 실제 시계열 데이터셋을 포함한 정제된 공개 아카이브를 제공하여 TSER 분야의 연구를 촉진하기 위해.
• 최신 TSC 및 전통적 기계학습 회귀 알고리즘을 사용하여 새로운 TSER 아카이브에서의 기준 성능를 수립하기 위해.
• 기존의 TSC 및 회귀 알고리즘이 TSER에 최적화되어 있지 않음을 입증하고, 새로운 전용 방법의 필요성을 부각시키기 위해.

제안 방법

• TSER 아카이브는 에너지 모니터링, 헬스케어(PhysioNet), 기상학(BOM), WHO, 신호 처리 경연 대회, 학술 기부 등 다양한 분야에서 수집된 19개의 데이터셋을 포함한다.
• 데이터셋은 차원 수(1~24), 길이(12~100,000), 결측치 및 길이가 다른 경우를 포함하여 실제 세계의 복잡성을 반영하고 있다.
• 13개의 알고리즘을 사용하여 종합적인 평가를 수행한다: 3개의 전통적 기계학습 모델(RF, XGBoost, SVR), 2개의 기능 데이터 분석 방법(FPCR, FPCR-B-spline), 4개의 딥러닝 모델(ResNet, FCN, InceptionTime, Rocket), 3개의 시계열 최근접이웃 알고리즘(1-NN-ED, 1-NN-DTW, 1-NN-DTWD).
• 성능는 루트 평균 제곱 오차(RMSE)로 측정되며, 비결정성의 영향을 반영하기 위해 5회 랜덤 실행 평균을 사용한다.
• 통계적 유의성은 평균 순위에 대한 프리드먼 검정을 실시하고, 유의수준 α=0.05에서 임계차이(CD)가 4.186인 네멘요이 사후 검정을 실시한다.
• 통계적 차이를 시각화하기 위해 임계차이도를 사용하며, 겹치지 않는 그룹은 알고리즘 성능 간 유의미한 격차를 의미한다.

실험 결과

연구 질문

• RQ1 최신 TSC 및 전통적 기계학습 회귀 알고리즘은 새로운 TSER 벤치마킹 아카이브에서 어떻게 성능을 내는가?
• RQ2 기능 데이터 분석 방법과 딥러닝 모델 간에 TSER 작업에서 유의미한 성능 차이가 존재하는가?
• RQ3 기존의 TSC 알고리즘, 예를 들어 Rocket은 외부 회귀 작업에 이식 가능하고 효과적인가, 아니면 적응이 필요한가?
• RQ4 전통적 회귀 모델(XGBoost, Random Forest 등)은 TSER 작업에서 특화된 시계열 모델과 비교해 상대적으로 어떤 성능을 보이는가?
• RQ5 결측치 및 길이가 다른 시계열 데이터의 존재가 TSER 데이터셋 컬렉션 전반의 알고리즘 성능에 유의미한 영향을 미치는가?

주요 결과

• Rocket는 모든 19개의 데이터셋에서 평균 순위 3.6842를 기록하여 SVR, NN-ED, 1-NN-DTWD보다 유의미하게 뛰어난 성능을 보였다.
• XGBoost 및 Random Forest와 같은 전통적 기계학습 모델은 경쟁력 있는 성능를 보이며, TSER 작업에 매우 유망한 잠재력을 보였다.
• 최신 TSC 모델과 전통적 회귀 알고리즘 간에 유의미한 성능 차이가 없었으며, 이는 현재의 방법들이 TSER에 최적화되어 있지 않음을 시사한다.
• 기능 데이터 분석 방법(FPCR 및 FPCR-B-spline)은 딥러닝 및 전통적 기계학습 모델에 비해 떨어지는 성능를 보였다.
• 임계차이도는 Rocket이 SVR 및 1-NN-DTWD와 같은 기준 모델들보다 통계적으로 뛰어나며, 임계차이 기준을 초월한 성능 격차를 확인했다.
• 결과적으로 기존 접근 방식이 이 새로운 문제 유형에 최적화되어 있지 않음을 고려할 때, TSER에 특화된 새로운 세대의 알고리즘이 필요하다는 점을 시사한다.