[논문 리뷰] Ti-MAE: Self-Supervised Masked Time Series Autoencoders

Zhe Li, Zhongwen Rao외 3명|ArXiv.org|2023. 01. 21.

Time Series Analysis and Forecasting인용 수 14

한 줄 요약

Ti-MAE는 무작위로 마스킹된 포인트 수준의 시계열 토큰을 재구성하는 자기지도 학습 기반의 마스킹 시계열 자동인코더를 제시하며, 대비적 표현 학습과 생성형 Transformer 모델 간의 다리를 놓아 예측 및 분류에 활용한다.

ABSTRACT

Multivariate Time Series forecasting has been an increasingly popular topic in various applications and scenarios. Recently, contrastive learning and Transformer-based models have achieved good performance in many long-term series forecasting tasks. However, there are still several issues in existing methods. First, the training paradigm of contrastive learning and downstream prediction tasks are inconsistent, leading to inaccurate prediction results. Second, existing Transformer-based models which resort to similar patterns in historical time series data for predicting future values generally induce severe distribution shift problems, and do not fully leverage the sequence information compared to self-supervised methods. To address these issues, we propose a novel framework named Ti-MAE, in which the input time series are assumed to follow an integrate distribution. In detail, Ti-MAE randomly masks out embedded time series data and learns an autoencoder to reconstruct them at the point-level. Ti-MAE adopts mask modeling (rather than contrastive learning) as the auxiliary task and bridges the connection between existing representation learning and generative Transformer-based methods, reducing the difference between upstream and downstream forecasting tasks while maintaining the utilization of original time series data. Experiments on several public real-world datasets demonstrate that our framework of masked autoencoding could learn strong representations directly from the raw data, yielding better performance in time series forecasting and classification tasks.

연구 동기 및 목표

• 시계열에 대한 대비 학습과 생성형 Transformer 접근 방식 사이의 간극을 연결한다.
• 최소한의 유도편향으로 원시 시계열로부터 강한 표현을 직접 학습한다.
• 마스크된 자동인코딩을 통해 긴 시퀀스 예측과 시계열 분류를 향상시킨다.
• 재학습 없이 여러 예측 시나리오에 걸쳐 사용 가능한 유연한 프리트레이닝 프레임워크를 제공한다.
• 실세계 데이터셋에서 확장성과 효과를 시연한다.

제안 방법

• 1-D 컨벌루션 계층으로 시계열을 토큰화하고 고정된 사인/코사인 위치 임베딩을 추가한다.
• 임베딩된 시계열 토큰의 일부를 무작위로 마스킹하고 보이는 토큰만을 Transformer 인코더에 입력한다.
• 인코딩된 보이는 토큰과 마스크 토큰으로부터 원래 시퀀스를 포인트 수준에서 재구성하기 위해 더 가벼운 Transformer 디코더를 사용한다.
• 마스킹 영역의 원래 값과 재구성 값 간의 평균 제곱 오차로 학습한다.
• 인코더가 디코더보다 더 무겁고 날짜별 임베딩이 사용되지 않는 비대칭 MAE 스타일 아키텍처를 채택한다.
• 약 75%의 마스킹 비율이 최적의 성능을 내고 무작위 마스킹은 추가 데이터 증강 없이도 다양한 뷰를 제공함을 보인다.

실험 결과

연구 질문

• RQ1 Ti-MAE가 다양한 실제 다변량 시계열 데이터셋에서 예측 정확도를 향상시키는 표현을 학습할 수 있는가?
• RQ2 예측 및 분류 작업에서 연속 마스킹보다 무작위 마스킹이 분포 이동을 더 잘 완화하는가?
• RQ3 마스킹 비율, 입력 시퀀스 길이, 디코더 설계가 학습된 표현의 품질과 다운스트림 성능에 어떤 영향을 미치는가?
• RQ4 강력한 증강이나 계층적 사전 지식 없이 직접 표현 학습기로서 Ti-MAE가 시계열 분류에 효과적인가?

주요 결과

• Ti-MAE는 여러 시나리오에서 표현 학습 기반 기준선에 비해 ETTh, Weather, Exchange, ILI 등 데이터셋에서 일관되게 예측 성능을 향상시킨다.
• Ti-MAE는 표준 대비 MAE를 ETTh에서 15.7%, Weather에서 42.3%, Exchange에서 45.5%, ILI에서 19.2% 감소시킨다.
• 사전 학습된 Ti-MAE는 고정된 인코더와 간단한 선형 프로젝션을 사용하여 서로 다른 시점 예측에서 미세 조정 가능하며 추가 회귀기가 필요 없다.
• 128개 UCR 데이터셋의 분류에서 Ti-MAE의 평균 정확도는 0.8231로, 다른 비지도 방법과 경쟁력 있게 순위를 차지한다(평균 순위 2.054).
• 무력화 실험은 최적의 마스킹 비율이 대략 75%임을 보여주며, 가벼운 디코더를 갖춘 무작위 마스킹이 시계열 재구성과 다운스트림 작업에 효과적임을 시사한다.