[논문 리뷰] Respecting Time Series Properties Makes Deep Time Series Forecasting Perfect

Li Shen, Yuning Wei외 1명|arXiv (Cornell University)|2022. 07. 22.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 시간적 시리즈의 본질적 성질—비_stationarity, 인과성, 변수의 무관성 등을 고려하여 정규화, 多변량 예측, 입력 시퀀스 길이를 재고한 새로운 딥 뉴럴 시계열 예측 네트워크인 RTNet을 제안한다. RTNet은 시간적 시리즈 이론에 기반한 구조적 제약을 강제하고 시간 임bedding을 분리함으로써, 낮은 복잡도와 뛰어난 정확도로 세 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

How to handle time features shall be the core question of any time series forecasting model. Ironically, it is often ignored or misunderstood by deep-learning based models, even those baselines which are state-of-the-art. This behavior makes their inefficient, untenable and unstable. In this paper, we rigorously analyze three prevalent but deficient/unfounded deep time series forecasting mechanisms or methods from the view of time series properties, including normalization methods, multivariate forecasting and input sequence length. Corresponding corollaries and solutions are given on both empirical and theoretical basis. We thereby propose a novel time series forecasting network, i.e. RTNet, on the basis of aforementioned analysis. It is general enough to be combined with both supervised and self-supervised forecasting format. Thanks to the core idea of respecting time series properties, no matter in which forecasting format, RTNet shows obviously superior forecasting performances compared with dozens of other SOTA time series forecasting baselines in three real-world benchmark datasets. By and large, it even occupies less time complexity and memory usage while acquiring better forecasting accuracy. The source code is available at https://github.com/OrigamiSL/RTNet.

연구 동기 및 목표

• 시간적 시리즈의 핵심 성질인 비_stationarity, 인과성, 변수의 무관성 등을 忽시하는 딥 시계열 예측 모델의 근본적 결함을 식별하고 수정하기.
• 시간적 시리즈 환경에서 배치 정규화(Batch Normalization)와 같은 정규화 기법의 오용 문제를 다루며, 척도 불변성(scale invariance)을 위반하고 안정성을 해칠 수 있음을 밝히기.
• 지도 학습 및 자기지도 학습 형식을 모두 고려한 일반 목적의 예측 네트워크를 개발하기.
• 시간적 시리즈 성질에서 유도된 이론적 추론을 실증적으로 검증하여 다양한 실제 데이터셋에서의 강건성과 일반화 능력을 확보하기.

제안 방법

• 시간 임bedding을 입력 특징에서 분리하여, 특히 시간 임bedding과 관련이 없는 데이터셋에서 임의의 상관관계를 방지하는 트랜스포머 기반 아키텍처인 RTNet을 제안한다.
• 공유 표현을 가진 증강된 시퀀스에서 사전 훈련하고, 이후 자동 회귀 예측을 통한 미세조정을 수행하는 두 단계 훈련 프로세스를 포함한 새로운 대비 학습 프레임워크를 도입한다.
• 계층적 시간 의존성을 모델링하기 위해 다중 RTBlock을 포함한 피라미드 네트워크 구조를 활용하며, 각 블록은 인과 컨볼루션과 학습 가능한余弦 유사도 행렬을 사용해 변수의 중요도를 모델링한다.
• 각도 임계값 θ를 사용한 임계값을 적용한 여유도 유사도 행렬을 통해 약한 또는 무관한 변수 간 상호작용을 억제함으로써 강건성과 해석 가능성 향상.
• α로 제어되는 동적 입력 시퀀스 겹침 메커니즘을 적용하며, α=4는 엔드 투 엔드 훈련에서 최적이고, α=2는 대비 학습에서 최적임을 확인하여 시퀀스 컨텍스트와 계산 비용의 균형을 확보한다.
• 하이브리드 정규화 전략을 채택함: 시간적 시리즈의 척도 불변성 위반 문제로 인해 배치 정규화를 피하고, 특정 맥락에서는 레이어 정규화 또는 정규화 미적용을 선호한다.

실험 결과

연구 질문

• RQ1 표준 정규화 방법인 배치 정규화가 시간적 시리즈 예측에서 실패하는 이유는 무엇이며, 이론적 및 실증적 결과는 무엇인가?
• RQ2 시간적 시리즈 변수들이 시간과 무관할 경우, 입력 시퀀스에 시간 임bedding을 포함시키는 것이 예측 성능에 미치는 영향은 무엇인가?
• RQ3 엔드 투 엔드 훈련과 대비 학습의 다른 훈련 형식에 대해 최적의 입력 시퀀스 길이와 겹침 전략(α 제어)은 무엇인가?
• RQ4 임계값을 적용한 학습 가능한 여유도 유사도 행렬을 통해 변수 중요도를 모델링함으로써 다변량 시간적 시리즈 예측은 어떻게 향상될 수 있는가?
• RQ5 입력 특징에서 시간 임bedding을 분리함으로써, 다양한 시간적 시리즈 데이터셋에 걸쳐 일반화 및 강건성이 얼마나 향상되는가?

주요 결과

• RTNet은 세 가지 실제 데이터셋(ETh1, ETTh2, WTH, ECL)에서 수십 개의 SOTA 기준 모델을 압도하며, 낮은 시간 및 메모리 복잡도로 최신 기술 성능을 달성한다.
• 시간 임bedding을 분리함으로써, 변수들이 시간 임bedding과 관련이 없는 ETT 데이터셋에서 성능 향상이 뚜렷하게 나타나며, 특히 엔드 투 엔드 훈련에서 임베딩된 시간 특징을 가진 모델보다 뛰어난 성능을 보인다.
• 최적의 겹침 정도 α는 엔드 투 엔드 훈련에서는 4, 대비 학습에서는 2로, 훈련 형식에 따라 하이퍼파rameter 민감도가 다름을 시사한다.
• 30°에서 여유도 유사도 행렬에 임계값을 적용하면, 약한 변수 간 상호작용을 억제함으로써 성능 향상이 이루어지며, θ ≥ 60°일 경우 성능 저하가 발생한다.
• 시간 임bedding을 분리한 RTNet은 시간이 관련된 WTH 데이터셋에서 임베딩된 시간 특징을 가진 모델와 유사하거나 더 우수한 성능을 달성하여, 이 방법의 강건성을 확인한다.
• 제거 실험(ablation study) 결과, ECL에서 RTNet의 성능는 시간 임bedding에 의존하지 않음을 확인하여, 변수들이 시간과 독립일 경우 시간 임bedding이 필수적이지 않다는 이론적 분석을 검증한다.