[논문 리뷰] Infomaxformer: Maximum Entropy Transformer for Long Time-Series Forecasting Problem

Peiwang Tang, Xianchao Zhang|arXiv (Cornell University)|2023. 01. 04.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

Infomaxformer는 최대 엔트로피 기반 자기주의 메커니즘과 키/값 정련을 통해 트랜스포머의 복잡도를 𝒪(L²)에서 𝒪(L)로 감소시켜 장기 시계열 예측의 정확도를 향상시키는 데 성공했다. 이는 희소 주의를 활용해 장거리 의존성을 포착하는 계절-추세 분해와 결합되어 여러 장기 시퀀스 데이터셋에서 최신 기술(SOTA) 모델을 능가한다.

ABSTRACT

The Transformer architecture yields state-of-the-art results in many tasks such as natural language processing (NLP) and computer vision (CV), since the ability to efficiently capture the precise long-range dependency coupling between input sequences. With this advanced capability, however, the quadratic time complexity and high memory usage prevents the Transformer from dealing with long time-series forecasting problem (LTFP). To address these difficulties: (i) we revisit the learned attention patterns of the vanilla self-attention, redesigned the calculation method of self-attention based the Maximum Entropy Principle. (ii) we propose a new method to sparse the self-attention, which can prevent the loss of more important self-attention scores due to random sampling.(iii) We propose Keys/Values Distilling method motivated that a large amount of feature in the original self-attention map is redundant, which can further reduce the time and spatial complexity and make it possible to input longer time-series. Finally, we propose a method that combines the encoder-decoder architecture with seasonal-trend decomposition, i.e., using the encoder-decoder architecture to capture more specific seasonal parts. A large number of experiments on several large-scale datasets show that our Infomaxformer is obviously superior to the existing methods. We expect this to open up a new solution for Transformer to solve LTFP, and exploring the ability of the Transformer architecture to capture much longer temporal dependencies.

연구 동기 및 목표

• 기본 트랜스포머의 장기 시계열 예측(LTFP)에서 이차 시간 및 메모리 복잡도 문제를 해결한다.
• 희소 주의 기법에서 무작위 샘플링으로 인한 성능 저하를 해결한다.
• 새로운 키/값 정련 기법을 통해 자기주의 맵에서의 중복 특징을 줄인다.
• 시계열 분해를 트랜스포머 아키텍처와 통합하여 복잡한 시계열 패턴을 효과적으로 모델링한다.
• 높은 예측 정확도를 유지하면서도 초장기 입력 시퀀스(최대 1440단계)를 효과적으로 처리할 수 있도록 한다.

제안 방법

• 자기주의를 최대 엔트로피 원리에 따라 재정의하여 희소 주의 계산을 이끌어내어 복잡도를 감소시키면서도 핵심 의존성을 유지한다.
• 엔트로피 최대화 기반의 희소성 기법(MEA)을 도입하여 무작위 샘플링 대신 주요 쿼리를 선택함으로써 특징 손실를 최소화한다.
• 중복된 주의 표현을 압축하기 위한 키/값 정련 기법을 제안하여 시간 및 메모리 복잡도를 모두 𝒪(L)로 감소시킨다.
• 인코더-디코더 아키텍처에 시계열 분해(TSD)를 통합하여 계절적 및 추세 성분을 명시적으로 분리하고 모델링한다.
• MEA와 TSD를 결합하여 높은 정확도로 초장기 시퀀스 모델링을 가능하게 하며, 희소성으로 인한 성능 저하를 방지한다.

Figure 1. Infomaxformer architecture

실험 결과

연구 질문

• RQ1 최대 엔트로피 원리를 활용해 장기 시계열 예측을 위한 더 효과적이고 효율적인 희소 주의 기법을 설계할 수 있는가?
• RQ2 예측 성능을 훼손시키지 않고 자기주의 맵의 중복 특징을 효과적으로 제거할 수 있는가?
• RQ3 시계열 분해를 희소 주의와 통합하면 트랜스포머에서 장거리 의존성 모델링이 향상되는가?
• RQ4 제안된 방법은 초장기 입력 시퀀스(예: 1440단계)에 대해 확장 가능하며 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 메모리 및 시퀀스 길이 제약 조건 하에서 MEA의 성능은 표준 주의 및 기타 희소 주의 기법과 비교해 어떻게 되는가?

주요 결과

• Infomaxformer는 시간 및 메모리 복잡도를 𝒪(L²)에서 𝒪(L)로 감소시켜 최대 1440단계까지의 초장기 시퀀스 처리를 가능하게 했다.
• ETTh1 데이터셋에서 1440단계의 시퀀스 길이에서 Infomaxformer는 MSE 0.573과 MAE 0.585를 기록하여 베이스라인을 능가했다.
• 제거 실험 결과, MEA, TSD 또는 키/값 정련을 제거할 경우 성능 저하가 심각하게 발생하는 것으로 확인되었다.
• TSD와 MEA의 조합는 Autoformer의 SDB와 AC보다 특히 장기 시퀀스 예측(예: 192단계 예측)에서 뛰어난 성능을 보였다.
• 충분히 큰 경우, 샘플링 요소 U는 성능에 미미한 영향을 미쳐 MEA의 분산 추정에 대한 안정성을 시사한다.
• Informer와 달리, 더 정보 기반의 초기 샘플링 전략 덕분에 다양한 샘플링 요소에서도 안정적인 성능을 유지한다.

(a) Softmax scores at Head1@Encoder layer