[논문 리뷰] Gated Transformer Networks for Multivariate Time Series Classification

Minghao Liu, Shengqi Ren외 5명|arXiv (Cornell University)|2021. 03. 26.

Time Series Analysis and Forecasting참고 문헌 18인용 수 100

한 줄 요약

GTN은 변환기(Transformer)에 게이팅 메커니즘을 추가하여 다변 시간 시퀀스 분류에서 단계별(step-wise) 및 채널별(channel-wise) 관계를 융합하고, 13개 데이터세트에서 경쟁력 있는 결과를 달성하며 주의도(attention maps)로 해석 가능성을 제공합니다.

ABSTRACT

Deep learning model (primarily convolutional networks and LSTM) for time series classification has been studied broadly by the community with the wide applications in different domains like healthcare, finance, industrial engineering and IoT. Meanwhile, Transformer Networks recently achieved frontier performance on various natural language processing and computer vision tasks. In this work, we explored a simple extension of the current Transformer Networks with gating, named Gated Transformer Networks (GTN) for the multivariate time series classification problem. With the gating that merges two towers of Transformer which model the channel-wise and step-wise correlations respectively, we show how GTN is naturally and effectively suitable for the multivariate time series classification task. We conduct comprehensive experiments on thirteen dataset with full ablation study. Our results show that GTN is able to achieve competing results with current state-of-the-art deep learning models. We also explored the attention map for the natural interpretability of GTN on time series modeling. Our preliminary results provide a strong baseline for the Transformer Networks on multivariate time series classification task and grounds the foundation for future research.

연구 동기 및 목표

• Transformer 아키텍처를 활용한 효과적인 다변 시간 시계열 분류의 필요성에 대한 동기 부여.
• 게이트를 통해 단계별 및 채널별 표현을 결합하는 Gated Transformer Networks (GTN) 제안.
• 다양한 다변 시간 시계열 데이터셋에 대한 GTN 평가 및 소거(ablation) 연구.
• 학습된 특징의 해석 가능성: 주의 맵과 임베딩 분석.

제안 방법

• tan h-activated 완전 연결 임베딩 레이어로 시계열을 임베딩하고 시각적 시간 위치 인코딩을 추가한다.
• 두 개의 Transformer 타워를 구현한다: 시간적 상관관계를 포착하는 step-wise(temporal) 인코더와 채널 간 상관관계를 포착하는 채널-wise 인코더.
• 학습된 게이트 g1, g2를 통해 타워 출력을 가중하고 결합하는 게이팅 메커니즘을 도입한다.
• step-wise 타워에서 autoregressive와 유사한 주의(attention)를 보존하고 학습을 개선하기 위해 마스킹을 사용한다.
• Adagrad(lr=0.0001)과 dropout(0.2)으로 GTN을 학습하고, plateau에서 학습률 스케줄링을 적용하며, 최소 손실 모델에서 평가한다.
• 마스킹, 타워 구성요소, 게이팅의 영향력을 보이기 위한 소거 연구를 제공한다.

실험 결과

연구 질문

• RQ1 다변 시간 시계열에서 단계별(시간적) 상관관계와 채널별 상관관계를 모두 효과적으로 모델링하는 게이티드 이중 타워 Transformer가 가능한가?
• RQ2 GTN에서 게이팅 메커니즘이 단순 연결(concatenation)이나 단일 타워 설계보다 성능이 우수한가?
• RQ3 학습된 주의 맵과 임베딩이 시계열 데이터에 대해 얼마나 해석 가능한가?
• RQ4 다양한 벤치마크에서 상태-of-the-art 심층 학습 기반 baselines에 대한 GTN의 실증적 위치는 무엇인가?

주요 결과

• GTN은 13개의 데이터세트 전반에서 최신 심층 학습 모델과 경쟁력 있는 정확도를 달성한다.
• 소거 연구를 통해 마스킹이 성능을 향상시키고 채널-와이즈 또는 스텝-와이즈 타워 각각의 단독 활용은 데이터세트에 따라 차이가 있다.
• 게이팅(학습 가중치)이 단순 연결보다 성능을 상회하며 샘플마다 어느 타워에 의존할지 데이터 기반으로 결정된다.
• GTN은 주의 맵 및 임베딩 시각화를 통해 해석 가능한 인사이트를 제공하며 의미 있는 패턴 발견 가능성을 시사한다.
• 스텝-와이즈 주의(attention)가 종종 우세하지만 데이터세트 특성상 두 타워가 모두 성능에 기여한다.
• GTN은 Transformer 기반 시계열 분류의 강력한 베이스라인 가능성을 보여준다.