[논문 리뷰] SimMTM: A Simple Pre-Training Framework for Masked Time-Series Modeling

Jiaxiang Dong, Haixu Wu외 4명|arXiv (Cornell University)|2023. 02. 02.

Time Series Analysis and Forecasting인용 수 30

한 줄 요약

SimMTM은 여러 개의 마스킹된 이웃으로부터 원래 시계를 재구성하여 마스킹된 시계열 사전학습을 재정의하고, 시계열 간 유사도 기반의 적응적 집계를 사용함으로써, 도메인 내외 설정에서 예측 및 분류의 최첨단 미세조정 성능을 달성합니다.

ABSTRACT

Time series analysis is widely used in extensive areas. Recently, to reduce labeling expenses and benefit various tasks, self-supervised pre-training has attracted immense interest. One mainstream paradigm is masked modeling, which successfully pre-trains deep models by learning to reconstruct the masked content based on the unmasked part. However, since the semantic information of time series is mainly contained in temporal variations, the standard way of randomly masking a portion of time points will seriously ruin vital temporal variations of time series, making the reconstruction task too difficult to guide representation learning. We thus present SimMTM, a Simple pre-training framework for Masked Time-series Modeling. By relating masked modeling to manifold learning, SimMTM proposes to recover masked time points by the weighted aggregation of multiple neighbors outside the manifold, which eases the reconstruction task by assembling ruined but complementary temporal variations from multiple masked series. SimMTM further learns to uncover the local structure of the manifold, which is helpful for masked modeling. Experimentally, SimMTM achieves state-of-the-art fine-tuning performance compared to the most advanced time series pre-training methods in two canonical time series analysis tasks: forecasting and classification, covering both in- and cross-domain settings.

연구 동기 및 목표

• 레이블링 필요를 줄이기 위해 시계열의 자기지도 사전학습의 필요성을 제시한다.
• 시간 변화의 보존으로 인해 마스킹된 시계열을 재구성하는 데 어려움에 대응한다.
• 지역 구조를 밝히기 위해 다수의 마스킹된 이웃으로부터 재구성하는 매니폴드에서 영감을 받은 프레임워크를 제안한다.
• SimMTM이 도메인 간 예측 및 분류에서 최첨단 미세조정 성능을 달성함을 입증한다.

제안 방법

• 각 샘플에 대해 여러 개의 마스킹된 뷰를 만들기 위해 시계열에 마스킹을 적용한다.
• 각 뷰를 인코딩하여 점별 표현을 얻고 시계열별(전역) 표현을 학습한다.
• 표현 공간에서 시계열 간 유사도를 계산해 이웃 그래프를 형성한다.
• 이웃 시계열의 점별 표현을 소프트맥스 가중 계수로 집계하여 원래의 시계열을 재구성한다.
• 재구성 손실과 매니폴드 구조를 보존하는 이웃 일관성 제약을 포함하여 학습한다; 불확실성 기반 튜닝으로 손실 가중치를 조정한다.

실험 결과

연구 질문

• RQ1 여러 개의 마스킹된 이웃으로부터 재구성하는 것이 단일 뷰 재구성에 비해 시간적 변화를 학습하는 데 더 도움이 되는가?
• RQ2 이웃(매니폴드) 제약을 도입하는 것이 다운스트림 예측 및 분류를 위한 표현 품질을 향상시키는가?
• RQ3 하나의 데이터셋에서 사전 학습하고 다른 데이터셋에서 미세조정하는 교차 도메인 전이에서 SimMTM이 향상되는가?
• RQ4 다른 마스킹 비율 r과 마스킹된 뷰의 수 M이 성능에 어떤 영향을 미치는가?

주요 결과

• SimMTM은 도메인 내외 설정에서 예측 및 분류에 있어 최첨단 미세조정 성능을 달성한다.
• 예측에서, SimMTM은 Ti-MAE 대비 평균 MSE를 8.3% 감소시키고 CoST 대비 14.7% 감소시키며, MAE는 Ti-MAE 대비 4.3%, CoST 대비 12.0% 감소시킨다.
• 분류에서, SimMTM은 경쟁적인 마스킹 모델링 및 대비 학습 방법을 능가하며, 교차 도메인 SleepEEG에서 EMG로의 전이에서 큰 이득을 가져온다(예: 정확도가 81.74%에서 97.56%로 개선).
• 절삭 연구는 재구성 손실과 이웃 제약 두 요소가 모두 필수적이며, 제약 손실은 복잡한 전이에서 현저하게 기여한다.
• SimMTM은 다양한 기반 모델에 걸쳐 일반화되며, 데이터가 제한된 미세조정 시나리오에서도 효과를 유지한다.