[논문 리뷰] SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction

Minhao Liu, Ailing Zeng외 5명|arXiv (Cornell University)|2021. 06. 17.

Time Series Analysis and Forecasting참고 문헌 56인용 수 245

한 줄 요약

SCINet은 다층 시계열 예측을 위해 다중 해상도 시간 역학을 모델링하는 계층형 하향 샘플링-컨볼루브-인터랙트 아키텍처(SCI-Block)를 도입하여 RNN, TCN, Transformer 기본 모델에 비해 다양한 데이터셋에서 강력한 성능을 달성합니다.

ABSTRACT

One unique property of time series is that the temporal relations are largely preserved after downsampling into two sub-sequences. By taking advantage of this property, we propose a novel neural network architecture that conducts sample convolution and interaction for temporal modeling and forecasting, named SCINet. Specifically, SCINet is a recursive downsample-convolve-interact architecture. In each layer, we use multiple convolutional filters to extract distinct yet valuable temporal features from the downsampled sub-sequences or features. By combining these rich features aggregated from multiple resolutions, SCINet effectively models time series with complex temporal dynamics. Experimental results show that SCINet achieves significant forecasting accuracy improvements over both existing convolutional models and Transformer-based solutions across various real-world time series forecasting datasets. Our codes and data are available at https://github.com/cure-lab/SCINet.

연구 동기 및 목표

• 두 서브시퀀스로 다운샘플링된 후에도 시간 관계가 대체로 보존된다는 특성을 활용하여 시계열 예측의 동기를 제시한다.
• 다중 해상도 시간 특성을 추출하기 위해 SCI-Blocks를 갖춘 새로운 인코더-디코더 아키텍처(SCINet)를 제안한다.
• 계층적 하향샘플링-컨볼루브-인터랙트 연산이 실제 데이터셋 전반에서 예측 정확성을 향상시킨다는 것을 보인다.
• 예측 가능성 향상을 평가하기 위해 순열 엔트로피를 사용하여 학습된 표현을 분석한다.

제안 방법

• 입력을 짝수/홀수 서브시퀀스로 분할하고 서로 다른 컨볼루션을 적용하며, 어파인 변환을 통해 서브시퀀스 간 정보를 교환하도록 상호 작용 학습을 사용하는 SCI-Block을 도입한다.
• SCINet을 다중 해상도 시간 의존성을 포착하고 시계열의 국부적 및 전역적 뷰를 제공하기 위해 SCI-Blocks의 이진 트리로 구성한다.
• 선택적으로 중간 감독을 포함하도록 여러 SCINet을 쌓아(스택된 SCINet) 예측 성능을 추가로 향상시킨다.
• 향상된 표현을 원래 시계열에 더하기 위해 잔차 연결을 사용하고 단순한 완전 연결 네트워크로 디코딩한다.
• 다단계 L1 손실로 스택된 모델을 훈련하고 모든 SCINet의 손실을 합산한다.

실험 결과

연구 질문

• RQ1 다운샘플링-컨볼루브-인터랙트 블록이 표준 확장 확산된 컨볼루션보다 복잡한 시간 역학을 더 효과적으로 포착할 수 있는가?
• RQ2 SCINet 변형(single, stacked, with intermediate supervision)이 다양한 데이터셋에서 RNN-, TCN-, Transformer 기반 시계열 예측 모델보다 우수한가?
• RQ3 명시적 공간 모델링 없이도 SCINet이 단기, 장기 및 시공간 예측 작업에서 어떻게 수행하는가?
• RQ4 학습된 표현이 원래 입력보다 예측 가능성이 더 높은 것으로 순열 엔트로피로 입증되는가?

주요 결과

• SCINet은 실제 데이터셋 전반에서 기존 TSF 모델(RNN/TCN/Transformer 베이스라인 포함)을 consistently 능가한다.
• 장기 예측 결과에서 SCINet은 많은 설정에서 최첨단 성능을 달성하며 선택된 벤치마크에서 평균적으로 큰 개선을 보인다.
• 공간-시간 태스크(예: 교통 데이터)에서 SCINet은 명시적 공간 관계 모델링 없이도 경쟁력 있는 예측 정확성을 제공한다.
• 순열 엔트로피 분석은 SCINet이 학습한 표현이 원래 입력보다 덜 복잡하고 더 예측 가능한 것을 시사한다.
• 이 아키텍처는 최악의 경우 O(T log T)의 계산 복잡도를 보이며, 많은 경우 깊이가 더 작아도(TCN과 비슷하거나 작음) 우수한 성능을 달성한다.