[논문 리뷰] A Transformer-based Framework for Multivariate Time Series Representation Learning

George Zerveas, Srideepika Jayaraman외 3명|arXiv (Cornell University)|2020. 10. 06.

Time Series Analysis and Forecasting인용 수 10

한 줄 요약

이 논문은 레이블이 없는 데이터에서 사전 훈련하기 위해 노이즈 제거 오토인코더 목표를 사용하는 새로운 트랜스포머 기반 프레임워크를 제안한다. 이는 다변량 시계열의 비지도 표현 학습을 위한 것으로, 특히 레이블이 적은 경우에 다변량 시계열 회귀 및 분류에서 최신 기술 수준의 성능을 달성하며, 동일한 훈련 샘플을 재사용할 때조차도 비지도 사전 훈련이 성능 향상에 기여한다는 것을 입증한다.

ABSTRACT

In this work we propose for the first time a transformer-based framework for unsupervised representation learning of multivariate time series. Pre-trained models can be potentially used for downstream tasks such as regression and classification, forecasting and missing value imputation. By evaluating our models on several benchmark datasets for multivariate time series regression and classification, we show that not only does our modeling approach represent the most successful method employing unsupervised learning of multivariate time series presented to date, but also that it exceeds the current state-of-the-art performance of supervised methods; it does so even when the number of training samples is very limited, while offering computational efficiency. Finally, we demonstrate that unsupervised pre-training of our transformer models offers a substantial performance benefit over fully supervised learning, even without leveraging additional unlabeled data, i.e., by reusing the same data samples through the unsupervised objective.

연구 동기 및 목표

• 다양한 다변량 시계열에 일반적으로 적용 가능한 트랜스포머 기반 비지도 표현 학습 프레임워크를 개발한다.
• 레이블이 없는 데이터를 추가로 요구하지 않고도 비지도 사전 훈련이 시계열 회귀 및 분류의 최종 성능을 향상시킬 수 있는지 조사한다.
• 다양한 크기와 차원 수를 가진 다양한 다변량 시계열 벤치마크에서 트랜스포머 기반 모델의 효과를 평가한다.
• 제안된 프레임워크의 계산 효율성과 확장성, 특히 CPU에서도 성능을 보여준다.
• 학습된 표현이 보간, 예측, 유사도 분석과 같은 최종 작업에 어떻게 활용될 수 있는지 탐색한다.

제안 방법

• 모델은 다변량 시계열의 조밀하고 맥락적인 표현을 학습하기 위해 다중 헤드 자기주의 주목을 사용하는 트랜스포머 인코더를 사용한다.
• 비지도 사전 훈련은 입력 시퀀스에서 마스킹된 토큰을 재구성하는 노이즈 제거 오토인코더 목표를 통해 수행된다.
• 시간 순서를 유지하기 위해 학습 가능한 위치 임베딩을 사용하며, 이는 불규칙하게 샘플링되거나 길이가 다른 시퀀스에도 적용 가능하다.
• 사전 훈련 후, 학습된 표현은 최종 작업인 회귀 및 분류에 대해 엔드 투 엔드로 미세조정된다.
• 추론 시 마스킹 패턴을 수정함으로써 동일한 아키텍처와 훈련 설정을 보간 및 예측 작업에 적용할 수 있다.
• 프레임워크는 다양한 도메인과 데이터 특성의 11개의 공개 다변량 시계열 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 레이블이 없는 사전 훈련만으로도 다변량 시계열 분류 및 회귀에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 추가로 레이블이 없는 데이터를 사용하지 않고도 동일한 레이블 데이터 샘플을 재사용할 때 비지도 사전 훈련이 완전히 감독 학습보다 성능을 향상시키는가?
• RQ3 매우 적은 훈련 샘플(예: 수백 개)이 있는 데이터셋에서 이 프레임워크는 어떻게 성능을 내는가?
• RQ4 학습된 표현이 보간 및 예측과 같은 최종 작업에 효과적으로 활용될 수 있는가?
• RQ5 다양한 차원 수와 길이를 가진 데이터셋 간에 모델 성능는 어떻게 변하는가?

주요 결과

• 제안된 프레임워크는 다변량 시계열 회귀 및 분류를 위한 11개의 벤치마크 데이터셋에서 모든 이전 방법들, 감독 학습 기반 딥 러닝 및 비딥 러닝 최신 기술 수준 모델을 포함해 최고의 성능을 기록했다.
• InsectWingBeat 데이터셋(30,000개 샘플, 200차원)에서 모델은 정확도 0.689를 달성했으며, 두 번째로 좋은 방법인 XGBoost(0.369)를 크게 앞서며 성능을 뛰어넘었다.
• 추가로 레이블이 없는 데이터를 사용하지 않았음에도 불구하고 감독 학습 방법의 성능을 초월했으며, 동일한 훈련 샘플을 재사용함으로써 비지도 사전 훈련이 성능 향상에 기여한다는 것을 입증했다.
• 수백 개의 훈련 샘플이 있는 데이터셋에서도 강력한 성능을 기록했으며, 11개 데이터셋 중 8개에서 성능 향상을 관찰했다.
• 계산 효율성이 뛰어나 CPU에서도 효과적으로 훈련되며, 가장 빠른 비딥 러닝 방법들과 유사한 훈련 속도를 기록했다.
• 학습된 표현은 높은 품질의 보간을 가능하게 했으며, 노이즈 제거 작업에서 루트 평균 제곱 오차가 거의 0에 가까워 강력한 재구성 능력을 보였다.