[논문 리뷰] Learning to Embed Time Series Patches Independently

Seunghan Lee, Taeyoung Park외 1명|arXiv (Cornell University)|2023. 12. 27.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 시간 시리즈 표현 학습을 향상시키기 위해 주로 어텐션 기반 모델이 아닌 간단한 MLP를 사용해 언마스킹된 패치를 독립적으로 재구성하도록 훈련하는 자기지도 학습 방법인 Patch Independence for Time Series(PITS)를 제안한다. PITS는 기존의 트랜스포머 기반 모델보다 훨씬 더 파rameter 효율적이고 빠르며, 예측 및 분류 과제에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Masked time series modeling has recently gained much attention as a self-supervised representation learning strategy for time series. Inspired by masked image modeling in computer vision, recent works first patchify and partially mask out time series, and then train Transformers to capture the dependencies between patches by predicting masked patches from unmasked patches. However, we argue that capturing such patch dependencies might not be an optimal strategy for time series representation learning; rather, learning to embed patches independently results in better time series representations. Specifically, we propose to use 1) the simple patch reconstruction task, which autoencode each patch without looking at other patches, and 2) the simple patch-wise MLP that embeds each patch independently. In addition, we introduce complementary contrastive learning to hierarchically capture adjacent time series information efficiently. Our proposed method improves time series forecasting and classification performance compared to state-of-the-art Transformer-based models, while it is more efficient in terms of the number of parameters and training/inference time. Code is available at this repository: https://github.com/seunghan96/pits.

연구 동기 및 목표

• 시간 시리즈 패치 간의 의존성을 효과적인 표현 학습에 필수로 보는 가정에 도전하기 위해.
• 패치 간의 상호의존성에 기반한 어텐션 메커니즘을 분리함으로써 시간 시리즈 표현 학습의 효율성과 강건성을 향상시키기 위해.
• 분포 이탈과 패치 크기 변화에 더 강건한 자기지도 미리학습 전략을 개발하기 위해.
• 독립적 패치 임베딩과 보완적 대비 학습을 기반으로 한 경량이고 해석 가능한 아키텍처를 도입하기 위해.

제안 방법

• 마스킹된 패치를 예측하는 대신 언마스킹된 패치를 재구성하는 패치 독립(pretraining) 작업을 제안하여 패치 간 의존성에 의존하지 않도록 한다.
• 각 패치를 독립적으로 처리하는 단순한 MLP 기반 인코더를 사용하여 어텐션 메커니즘을 제거함으로써 패치 독립성을 강제한다.
• 동일한 시간 시리즈 샘플에 대해 보완적인 무작위 마스킹을 통해 양성 페어를 생성함으로써 보완적 대비 학습(Complementary Contrastive Learning, CL)을 도입한다.
• 어 attention 기반 모델링이 필요 없이도 인접한 시간 패턴을 효율적으로 포착할 수 있도록 계층적 대비 학습을 사용한다.
• 언마스킹된 패치 재구성과 대비 학습을 결합하여 국소적 표현 품질과 전반적 구조를 동시에 최적화한다.
• 다중 작업 목적함수를 사용해 모델을 엔드 투 엔드로 훈련한다: PI 작업에 대한 재구성 손실과 CL 목적함수에 대한 대비 손실.

실험 결과

연구 질문

• RQ1 독립적으로 언마스킹된 패치를 재구성하는 것이 마스킹된 패치를 예측하는 것보다 더 나은 시간 시리즈 표현을 이끌어내는가?
• RQ2 간단한 MLP 기반 아키텍처가 시간 시리즈 표현 학습에서 어텐션 기반 트랜스포머를 능가할 수 있는가?
• RQ3 패치 독립성은 분포 이탈과 다양한 패치 크기 변화에 대해 어떻게 영향을 미치는가?
• RQ4 보완적 대비 학습은 어텐션 메커니즘 없이도 국소적 시간 의존성을 효율적으로 포착할 수 있는가?
• RQ5 제안된 방법은 최신 기술 자기지도 학습 시간 시리즈 모델보다 더 파라미터 수와 계산 효율성이 뛰어나지 않는가?

주요 결과

• PITS는 시간 시리즈 예측 및 분류 과제에서 모두 최신 기술 성능을 달성하며, PatchTST, TimeMAE, FEDFormer 등 최신 기술 모델을 능가한다.
• ETTm2 데이터셋에서 PITS는 추론 시간을 56% 감소시켰다(3.3초 대비 7.5초), 파라미터 수는 99.9% 감소시켰다(5,772 대비 406,028).
• PD 기반 모델이 실패하는 테스트 데이터 분포 이탈 상황에서도 PI 작업은 더 뛰어난 강건성을 보였다.
• MLP 기반 PI 아키텍처는 더 해석 가능한 표현을 생성한다: t-SNE 시각화 결과에서 더 명확한 클래스 분리가 관찰되었고, 어텐션 맵은 계절 패턴을 드러냈다.
• 보완적 대비 학습은 기본 CL 대비 성능 향상을 보였으며, 계층적 CL은 성능을 추가로 향상시켰다.
• PI 아키텍처는 패치 크기 변화에 더 강건하여 다양한 패치 길이에서 일관된 성능을 유지했다.