[논문 리뷰] Monash University, UEA, UCR Time Series Regression Archive

Chang Wei Tan, Christoph Bergmeir외 2명|arXiv (Cornell University)|2020. 06. 19.

Time Series Analysis and Forecasting참고 문헌 17인용 수 11

한 줄 요약

이 논문은 다양한 도메인에서 다양한 차원, 비균일한 길이, 누락된 값이 포함된 19개의 다양한 데이터셋을 포함하는 시간시계열 회귀(TSR)를 위한 첫 번째 벤치마크 아카이브를 소개한다. 이는 표준화된 데이터와 초기 모델 벤치마크를 제공함으로써 일반적인 TSR 연구의 기반을 마련하며, 분류 및 예측 외의 시간시계열 연구에서 중요한 격차를 메운다.

ABSTRACT

Time series research has gathered lots of interests in the last decade, especially for Time Series Classification (TSC) and Time Series Forecasting (TSF). Research in TSC has greatly benefited from the University of California Riverside and University of East Anglia (UCR/UEA) Time Series Archives. On the other hand, the advancement in Time Series Forecasting relies on time series forecasting competitions such as the Makridakis competitions, NN3 and NN5 Neural Network competitions, and a few Kaggle competitions. Each year, thousands of papers proposing new algorithms for TSC and TSF have utilized these benchmarking archives. These algorithms are designed for these specific problems, but may not be useful for tasks such as predicting the heart rate of a person using photoplethysmogram (PPG) and accelerometer data. We refer to this problem as Time Series Regression (TSR), where we are interested in a more general methodology of predicting a single continuous value, from univariate or multivariate time series. This prediction can be from the same time series or not directly related to the predictor time series and does not necessarily need to be a future value or depend heavily on recent values. To the best of our knowledge, research into TSR has received much less attention in the time series research community and there are no models developed for general time series regression problems. Most models are developed for a specific problem. Therefore, we aim to motivate and support the research into TSR by introducing the first TSR benchmarking archive. This archive contains 19 datasets from different domains, with varying number of dimensions, unequal length dimensions, and missing values. In this paper, we introduce the datasets in this archive and did an initial benchmark on existing models.

연구 동기 및 목표

• 시간시계열 분류(TSC)와 시간시계열 예측(TSF)과는 다른 작업인 시간시계열 회귀(TSR)를 위한 표준화된 벤치마크 자원의 부족을 해결하기 위해.
• 비균일한 길이와 누락된 값 등의 특성을 포함한 다양한 실세계 데이터셋을 촬영하여 일반적인 방법론 개발을 지원하기 위해.
• 전용 벤치마크 인프라의 필요성과 실현 가능성을 입증함으로써 TSR 분야에 대한 더 넓은 연구 관심을 유도하기 위해.
• 새로운 TSR 아카이브에서 기존 모델의 성능을 초기 기준선으로 설정하기 위해.

제안 방법

• 저자는 의료, 센서 데이터, 환경 모니터링 등 다양한 도메인에서 19개의 시간시계열 데이터셋을 수집하여 광범위한 적용 가능성을 확보했다.
• 단변량 및 다변량 시간시계열을 포함하도록 데이터셋을 선별하였으며, 길이의 차이, 누락된 값, 비균일한 샘플링을 포함한 다양한 특성을 반영했다.
• 표준 머신러닝 파이프라인과의 호환성을 확보하면서도 원본 데이터 특성을 유지하기 위해 각 데이터셋을 사전 처리했다.
• 피드포워드 네트워크, 컨volutional 네트워크, 순환 네트워크 등 다양한 기존 모델을 모든 데이터셋에 대해 평가하여 기준 성능를 설정했다.
• 표준 회귀 평가 지표인 평균 절대 오차(MAE)와 평균 제곱 오차(MSE)를 사용하여 표준 훈련-테스트 분할 기반으로 평가를 수행했다.
• 모델 성능 추세와 데이터셋 특화 도전 과제를 파악하기 위해 다중 데이터셋 분석을 포함한 벤치마킹 과정을 수행했다.

실험 결과

연구 질문

• RQ1 일반적인 시간시계열 회귀(TSR) 벤치마킹에 적합한 실세계 시간시계열 데이터셋의 핵심 특성은 무엇인가?
• RQ2 다양한 데이터 품질과 구조를 가진 TSR 데이터셋에서 기존 머신러닝 모델의 성능는 어떻게 나타나는가?
• RQ3 TSC 및 TSF 설정에서 관찰된 모델 성능 추세가 TSR 설정으로 일반화되는 정도는 어느 정도인가?
• RQ4 누락된 값과 비균일한 길이와 같은 가장 흔한 데이터 과제들이 TSR 모델 성능에 미치는 영향은 무엇인가?
• RQ5 표준화된 벤치마크 아카이브는 TSR 연구의 재현 가능성 향상과 진전에 어떻게 기여할 수 있는가?

주요 결과

• 제안된 TSR 벤치마크 아카이브는 심박수 예측을 위한 PPG 및 가속도계 데이터를 포함하여 다양한 도메인에서 19개의 데이터셋을 포함하고 있으며, 실세계 적용의 광범위한 관련성을 보여준다.
• 데이터셋은 길이, 차원 수, 데이터 품질 측면에서 상당한 이질성을 보이며, 누락된 값과 비균일한 샘플링을 포함한다.
• 피드포워드 및 순환 신경망을 포함한 기초 모델들은 데이터셋 간에 성능이 다양하게 나타났으며, 어떤 모델도 일관되게 승리하지 못했다.
• 높은 비율의 누락된 값이나 매우 변동성이 큰 시퀀스 길이를 처리할 경우 모델 성능 저하가 관찰되었다.
• 초기 벤치마킹 결과는 TSC나 TSF를 위해 설계된 기존 모델들이 적응 없이 TSR에 직접 적용될 수 없음을 시사하며, 전용 TSR 방법의 필요성을 강조한다.
• 이 아카이브는 재현 가능한 평가를 가능하게 하며, 향후 일반적인 TSR 알고리즘 개발의 기반을 마련한다.