[논문 리뷰] Cross-LKTCN: Modern Convolution Utilizing Cross-Variable Dependency for Multivariate Time Series Forecasting Dependency for Multivariate Time Series Forecasting

Donghao Luo, Xue Wang|arXiv (Cornell University)|2023. 06. 04.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

Cross-LKTCN는 다변량 시계열 예측에서 교차시간 및 교차변수 의존성을 명시적으로 모델링함으로써 성능을 햖थ한 현대적인 순수 컨볼루션 아키텍처입니다. 장거리 시간적 의존성을 위해 깊이 분리형 대규모 커널 컨볼루션을 사용하고, 복잡한 변수 간 상호작용을 포착하기 위해 연속적인 점형 그룹 컨볼루션 피드포워드 네트워크를 활용하여 선형 계산 복잡도를 유지하면서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

The past few years have witnessed the rapid development in multivariate time series forecasting. The key to accurate forecasting results is capturing the long-term dependency between each time step (cross-time dependency) and modeling the complex dependency between each variable (cross-variable dependency) in multivariate time series. However, recent methods mainly focus on the cross-time dependency but seldom consider the cross-variable dependency. To fill this gap, we find that convolution, a traditional technique but recently losing steam in time series forecasting, meets the needs of respectively capturing the cross-time and cross-variable dependency. Based on this finding, we propose a modern pure convolution structure, namely Cross-LKTCN, to better utilize both cross-time and cross-variable dependency for time series forecasting. Specifically in each Cross-LKTCN block, a depth-wise large kernel convolution with large receptive field is proposed to capture cross-time dependency, and then two successive point-wise group convolution feed forward networks are proposed to capture cross-variable dependency. Experimental results on real-world benchmarks show that Cross-LKTCN achieves state-of-the-art forecasting performance and improves the forecasting accuracy significantly compared with existing convolutional-based models and cross-variable methods.

연구 동기 및 목표

• 다변량 시계열 예측에서 특히 컨볼루션 기반 모델에서 미처 다루어지지 않은 교차변수 의존성을 다루기 위해.
• 제한된 수신장과 약한 장기 의존성 학습 능력으로 인해 떨어지는 컨볼루션의 역할을 복원하고 향상시키기 위해.
• 주의 메커니즘을 사용하지 않고도 교차시간 및 교차변수 의존성을 별도로 모델링하는 효율적인 아키텍처를 설계하기 위해.
• 주의 기반 모델과 비교해도 선형 계산 복잡도를 유지하면서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 근접한 시간 포인트로부터의 의미 정보를 집약적으로 수집하기 위해 패치 기반 임bedding 전략을 도입하여 국소성 향상.
• 장거리 시퀀스에 걸쳐 교차시간 의존성을 효과적으로 포착하기 위해 넓은 수신장과 함께 깊이 분리형 대규모 커널 컨볼루션을 활용.
• 변수 특성 자체를 유지하면서도 복잡한 교차변수 의존성을 모델링하기 위해 연속적인 점형 그룹 컨볼루션 피드포워드 네트워크를 사용.
• 그룹 및 깊이 분리형 컨볼루션의 분리 성질을 활용해 시간적 및 변수 수준의 의존성을 별도로 모델링.
• 실증적 증거에 기반해 시계열 예측에서 인과성 컨볼루션의 필요성이 없음을 확인하고 아키텍처를 단순화.
• 대규모 커널 컨볼루션의 훈련 안정성을 향상시키기 위해 구조 재패러미터라이제이션을 적용하여 성능과 일반화 능력 향상.

실험 결과

연구 질문

• RQ1 대규모 1D 컨볼루션 커널은 다변량 시계열에서 장기 교차시간 의존성을 효과적으로 포착할 수 있는가?
• RQ2 주의 메커니즘 없이도 점형 그룹 컨볼루션 피드포워드 네트워크는 복잡한 교차변수 의존성을 효율적으로 모델링할 수 있는가?
• RQ3 명시적인 교차변수 모델링을 갖춘 순수 컨볼루션 기반 아키텍처는 기존의 컨볼루션 및 주의 기반 모델보다 다변량 예측에서 승리하는가?
• RQ4 커널 크기와 입력 길이가 제안된 아키텍처의 성능에 어떤 영향을 미치는가?
• RQ5 최신 기술 기반의 주의 기반 및 컨볼루션 모델과 비교해 제안된 모델의 계산 효율성은 어떠한가?

주요 결과

• 모든 데이터셋에서 커널 크기를 3에서 51로 증가시키면 예측 성능이 크게 향상되며, 특히 ILI 및 전기 에너지 데이터셋에서 가장 큰 향상이 관찰됨.
• ETTh1 데이터셋에서 예측 길이 192일 때 커널 크기 51은 MSE를 커널 크기 3 대비 10.5% 감소시킴.
• 입력 길이가 길어질수록 성능 향상이 일관되게 관찰되어 Cross-LKTCN이 장기 시간 의존성을 효과적으로 포착함을 확인.
• 아홉 개의 실세계 벤치마크에서 최신 기술 수준의 결과를 달성하며, 컨볼루션 기반 및 주의 기반 모델을 모두 압도함.
• 주의 기반 모델과 달리 교차시간 의존성 모델링에 대해 선형 복잡도를 유지함.
• 복잡도 분석 결과 Cross-LKTCN의 교차변수 구성 요소는 변수 수 M에 대해 제곱 복잡도로 증가하지만, 자기주의 주의 기반 대안 대비 부재로 인해 더 효율적임.