[논문 리뷰] Ada-MSHyper: Adaptive Multi-Scale Hypergraph Transformer for Time Series Forecasting

Zongjiang Shang, Ling Chen외 2명|arXiv (Cornell University)|2024. 10. 31.

Time Series Analysis and Forecasting인용 수 4

한 줄 요약

Ada-MSHyper는 군집별 상호작용을 통해 의미적 희소성과 시간적 변동성의 얽힘 문제를 해결하기 위해 적응형 다중 척도 초그래프 트랜스포머를 제안한다. 이는 적응형 초그래프 구조와 노드-초간선 제약 메커니즘을 통해 실현되며, 11개의 실세계 데이터셋에서 단기 예측에서 최대 10.38%까지 MSE를 감소시켜 최신 기준 성능을 달성한다.

ABSTRACT

Although transformer-based methods have achieved great success in multi-scale temporal pattern interaction modeling, two key challenges limit their further development: (1) Individual time points contain less semantic information, and leveraging attention to model pair-wise interactions may cause the information utilization bottleneck. (2) Multiple inherent temporal variations (e.g., rising, falling, and fluctuating) entangled in temporal patterns. To this end, we propose Adaptive Multi-Scale Hypergraph Transformer (Ada-MSHyper) for time series forecasting. Specifically, an adaptive hypergraph learning module is designed to provide foundations for modeling group-wise interactions, then a multi-scale interaction module is introduced to promote more comprehensive pattern interactions at different scales. In addition, a node and hyperedge constraint mechanism is introduced to cluster nodes with similar semantic information and differentiate the temporal variations within each scales. Extensive experiments on 11 real-world datasets demonstrate that Ada-MSHyper achieves state-of-the-art performance, reducing prediction errors by an average of 4.56%, 10.38%, and 4.97% in MSE for long-range, short-range, and ultra-long-range time series forecasting, respectively. Code is available at https://github.com/shangzongjiang/Ada-MSHyper.

연구 동기 및 목표

• 개별 시간 포인트가 제한된 의미를 지닌 의미 정보 희소성 문제를 해결하기 위해 쌍별 어텐션에만 의존하는 대신 군집별 상호작용을 모델링함으로써.
• 다양한 패턴인 상승, 하강, 변동성이 서로 겹치며 공존하는 시간적 변동성 얽힘 문제를 해결하기 위해.
• 암묵적인 군집 상호작용을 학습하는 적응형 초그래프 구조를 도입함으로써 트랜스포머가 다중 척도 시간 패턴을 효과적으로 포착할 수 있도록 하기 위해.
• 정서적 및 거리 기반 제약 조건을 통해 각 척도 내 시간 변동성을 구분함으로써 모델의 강건성과 표현력을 향상시키기 위해.
• 장기 예측, 단기 예측, 초장기 예측 시간 시계열 예측에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 적응형 초그래프 학습(AHL) 모듈은 다중 척도 특징 표현에서 동적 초그래프를 구성하여 다양한 시간 척도에서 암묵적인 군집별 상호작용을 탐지할 수 있도록 한다.
• 다중 척도 상호작용 모듈은 자기어텐션과 함께 초그래프 컨벌루션을 적용하여 노드 및 초간선 간의 정보를 집계함으로써 다중 척도에서 패턴 표현을 향상시킨다.
• 노드 및 초간선 제약(NHC) 메커니즘은 유사한 의미를 지닌 노드를 클러스터링하고, 각 척도 내에서 서로 다른 시간적 변동성을 구분하기 위해 의미 유사성과 거리 유사성을 강제한다.
• NHC 메커니즘은 노드 수준의 제약 조건을 통해 의미적으로 유사한 시간 포인트를 군집화하고, 초간선 수준의 제약 조건을 통해 추세 및 변동성과 같은 서로 다른 시간 역학을 분리한다.
• 표준 회귀 손실을 사용해 엔드 투 엔드로 학습되며, 초그래프 구조는 특징 유사성에 기반해 학습 도중 동적으로 업데이트된다.
• 프레임워크는 전기, 교통, 기상 데이터를 포함한 11개의 실세계 시간 시계열 데이터셋에서 장기, 단기, 초장기 예측 설정 하에서 평가된다.

실험 결과

연구 질문

• RQ1 적응형 초그래프 학습이 의미가 낮은 맥락에서 쌍별 어텐션의 한계를 줄이기 위해 시간 시계열의 군집별 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 상승, 하강, 변동 패턴과 같은 시간 변동성을 각 척도 내에서 어떻게 분리하여 예측 정확도를 향상시킬 수 있는가?
• RQ3 노드 및 초간선 제약 조건을 통합함으로써 모델이 의미적으로 유사한 시간 포인트를 군집화하고 다양한 역학 패턴을 구분하는 능력이 얼마나 향상되는가?
• RQ4 제안된 Ada-MSHyper 프레임워크가 다양한 실세계 데이터셋에서 다중 척도 시간 시계열 예측에서 기존 최신 기준(SOTA) 방법을 초월하는가?
• RQ5 모델이 장기 예측, 단기 예측, 초장기 예측 등 다양한 예측 수준에서 일반화 가능한가?

주요 결과

• Ada-MSHyper는 11개의 실세계 시간 시계열 데이터셋에서 최신 기준 성능을 달성하며, 모든 평가 설정에서 기존 SOTA 방법을 능가한다.
• 장기 예측 작업에서 최고의 베이스라인 대비 평균 4.56%의 MSE 감소를 기록한다.
• 단기 예측에서는 평균 10.38%의 MSE 감소를 달성하여 미세한 시간 패턴에서 뛰어난 성능을 보여준다.
• 초장기 예측에서는 평균 4.97%의 MSE 감소를 기록하여 먼 거리 의존성을 효과적으로 포착하는 강건성을 보여준다.
• 제거 실험 결과, 노드 및 초간선 제약 조건이 모두 필수적임을 확인하였으며, 전체 NHC 메커니즘이 노이즈에 대한 강건성과 패턴 분리 능력을 크게 향상시킨다.
• 시각화 결과는 모델이 의미적으로 유사한 노드를 성공적으로 군집화하고, 추세 및 진동과 같은 별개의 시간 변동성을 별도의 초간선으로 분리하는 데 성공했다.