[논문 리뷰] Rethinking Channel Dependence for Multivariate Time Series Forecasting: Learning from Leading Indicators

Lifan Zhao, Yanyan Shen|arXiv (Cornell University)|2024. 01. 31.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 논문은 다변량 시계열 예측을 위한 플러그 앤 플레이 방법인 LIFT를 제안한다. 이 방법은 변량 간에 동적으로 특정된 局소 정staionary한 앞서기-뒤따름 관계를 활용한다. 각 단계에서 주요 지표와 그 시간 지연을 추정하고, 주파수 도메인을 고려한 리퍼너를 통해 예측을 정교화함으로써, 여섯 개의 실제 데이터셋에서 평균 5.5% 향상된 최신 기술 수준을 달성한다.

ABSTRACT

Recently, channel-independent methods have achieved state-of-the-art performance in multivariate time series (MTS) forecasting. Despite reducing overfitting risks, these methods miss potential opportunities in utilizing channel dependence for accurate predictions. We argue that there exist locally stationary lead-lag relationships between variates, i.e., some lagged variates may follow the leading indicators within a short time period. Exploiting such channel dependence is beneficial since leading indicators offer advance information that can be used to reduce the forecasting difficulty of the lagged variates. In this paper, we propose a new method named LIFT that first efficiently estimates leading indicators and their leading steps at each time step and then judiciously allows the lagged variates to utilize the advance information from leading indicators. LIFT plays as a plugin that can be seamlessly collaborated with arbitrary time series forecasting methods. Extensive experiments on six real-world datasets demonstrate that LIFT improves the state-of-the-art methods by 5.5% in average forecasting performance. Our code is available at https://github.com/SJTU-Quant/LIFT.

연구 동기 및 목표

• 다변량 시계열(MTS)에서 채널 간 독립적인 방법이 유용한 채널 간 상관관계를 누락하는 한계를 해결하기 위해.
• 변량 간 국소 정staionary한 앞서기-뒤따름 관계가 예측 정확도 향상에 활용될 수 있는지 조사하기 위해.
• 실시간 예측 사용을 위해 동적으로 주요 지표와 그 시간 지연을 식별하는 방법을 개발하기 위해.
• 어떤 기반 모델과도 호환되는 플러그 앤 플레이 모듈을 만들기 위해, 아키텍처의 대대적 개선 없이 성능을 향상시키기 위해.

제안 방법

• 각 시간 단계에서 주요 지표와 그 앞서기 단계를 동적으로 추정하기 위한 효율적인 교차상관 알고리즘을 제안한다.
• 추정된 지연 시간을 바탕으로 각 변량을 주요 지표와 정렬하기 위한 목표 지향적 이동 기법을 도입한다.
• 초기 예측을 위해 기반 모델(예: DLinear, LightMTS)을 사용한 후, 주요 지표로부터 정보성 주파수 성분을 필터링하고 융합하는 주의 깊은 리퍼너를 적용한다.
• 주요 지표로부터 유용한 주파수 성분을 선택적으로 흡수하고 잡음을 억제하기 위해 주의 깊은 리퍼너 내에 적응형 주파수 믹서를 설계한다.
• 특히 다양한 센서 측정치를 포함한 이질적인 MTS에서의 맥락 의존적 앞서기-뒤따름 패턴을 모델링하기 위해 변량 상태 표현을 사용한다.
• 전체 파이프라인을 플러그인 모듈로 통합하여, 기존의 어떤 MTS 예측 모델과도 원활하게 통합 가능하게 한다.

실험 결과

연구 질문

• RQ1 변량 간 국소 정staionary한 앞서기-뒤따름 관계는 다변량 시계열 예측 향상에 효과적으로 활용될 수 있는가?
• RQ2 사전 가정 없이 실시간으로 주요 지표와 그 시간 지연을 어떻게 동적으로 추정할 수 있는가?
• RQ3 주요 지표의 주파수 도메인 신호를 통합할 경우 예측 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 데이터셋에서 앞서기-뒤따름 관계의 분포 이탈 상황에서 LIFT의 성능는 어떻게 변화하는가?
• RQ5 LIFT를 통한 앞서기-뒤따름 모델링을 적용했을 때, 경량이고 채널 간 독립적인 기준 모델인 LightMTS가 복잡한 모델보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• LIFT는 여섯 개의 실제 데이터셋에서 평균 5.5% 향상된 최신 기술 수준의 성능을 달성하며, 기존 방법 대비 일관된 성능 향상을 입증한다.
• LIFT로 향상된 LightMTS 기준 모델은 PatchTST와 같은 복잡한 모델보다 Weather 데이터셋에서 3.2% 높은 성능을 보이며, Electricity 데이터셋에선 0.7% 높은 성능을 기록한다.
• 제거 실험 결과, 주의 깊은 리퍼너 내의 영향 및 차이 성분 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어진다.
• 필터링 기능이 없는 변형이 가장 열 劣한 성능을 보이며, 주파수 성분 내의 적응형 잡음 억제가 강건성에 매우 중요함을 시사한다.
• K(주요 지표 수)와 N(변량 상태 수)의 적정 값에서 최적의 성능이 달성되며, 과도한 추정은 희박하거나 노이즈가 많은 데이터셋에서 성능 저하로 이어진다.
• 이질적인 MTS인 Weather와 같이 변량 상태 표현이 특히 중요하며, 이를 忽略할 경우 성능 저하가 가장 크게 발생한다.