[논문 리뷰] Hierarchically Regularized Deep Forecasting

Biswajit Paria, Rajat Sen외 2명|arXiv (Cornell University)|2021. 06. 14.

Time Series Analysis and Forecasting참고 문헌 47인용 수 6

한 줄 요약

이 논문은 시간에 따라 변화하는 자기회귀(TVAR) 성분과 계층적 일관성을 강제하는 기저 분해(BD) 모델을 조합한 확장 가능한 딥 하이어archical 예측 모델인 HiReD를 제안한다. 기저 함수를 통해 예측을 모델링하고 시간에 따라 변화하는 계수를 적용함으로써, 후처리 또는 대용량 배치 크기가 필요 없이 모든 계층 수준에서 최고 성능의 정확도와 향상된 일관성을 달성한다.

ABSTRACT

Hierarchical forecasting is a key problem in many practical multivariate forecasting applications - the goal is to simultaneously predict a large number of correlated time series that are arranged in a pre-specified aggregation hierarchy. The main challenge is to exploit the hierarchical correlations to simultaneously obtain good prediction accuracy for time series at different levels of the hierarchy. In this paper, we propose a new approach for hierarchical forecasting which consists of two components. First, decomposing the time series along a global set of basis time series and modeling hierarchical constraints using the coefficients of the basis decomposition. And second, using a linear autoregressive model with coefficients that vary with time. Unlike past methods, our approach is scalable (inference for a specific time series only needs access to its own history) while also modeling the hierarchical structure via (approximate) coherence constraints among the time series forecasts. We experiment on several public datasets and demonstrate significantly improved overall performance on forecasts at different levels of the hierarchy, compared to existing state-of-the-art hierarchical models.

연구 동기 및 목표

• 소매나 전력망 응용 분야와 같이 계층 트리 구조로 배열된 많은 상관관계가 있는 시계열을 예측하는 과제를 해결한다.
• 후처리 재조정이나 GNN과 같은 기존 방법의 한계를 극복한다. 이는 비일관성, 비확장성, 또는 전체 배치 학습이 필요한 경우를 포함한다.
• 계층 수준 간의 덧셈 일관성 제약 조건을 강제하면서도 확장성을 유지하는 단일 단계, 엔드 투 엔드 학습 가능한 모델을 개발한다.
• 모든 시계열의 추론이 오직 자신의 이력 자료에 의존하도록 보장함으로써, 효율적인 미니배치 학습 및 구현을 가능하게 한다.
• 글로벌 시간 패턴과 로컬 역학을 활용하여, 특히 집계된(粗 granularity) 시계열에서 정확도를 향상시키고자 한다.

제안 방법

• 모든 시계열을 기저 분해(BD)를 통해 학습된 글로벌 기저 함수의 선형 조합으로 분해함으로써, 계층 전반에서 공유되는 시간 패턴을 포착한다.
• 기저 분해의 계수를 시간에 따라 변화하는 자기회귀(TVAR) 메커니즘으로 모델링하여 로컬 역학에 적응하고 시퀀스별 예측을 가능하게 한다.
• 덧셈 일관성의 위반을 방지하기 위해 계층적 정규화 항을 도입함으로써, 부모 예측값이 자식 예측값의 합과 일치하도록 보장한다.
• 재구성 오차와 계층적 정규화를 조합한 미분 가능한 손실 함수로 전체 목표를 설정함으로써, 확률적 경사 하강법을 통한 엔드 투 엔드 학습이 가능하도록 한다.
• 두 단계 학습 전략을 사용한다: 먼저 모든 시계열에서 BD 모델을 사전 학습하고, 이후 BD 계수와 TVAR 파라미터를 함께 미세 조정하며 계층적 정규화를 적용한다.
• 각 시계열의 추론을 분리함으로써 확장성을 확보한다. 전체 계층을 참조할 필요 없이 오직 자신의 이력 데이터에만 접근하면 된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 다중 수준 시계열 계층의 모든 수준에서 동시에 높은 예측 정확도와 강력한 계층적 일관성을 동시에 달성할 수 있는가?
• RQ2 시간에 따라 변화하는 계수를 갖는 기저 분해를 통합할 경우, 표준 RNN 또는 GNN 기반 모델에 비해 일반화 및 확장성에서 향상되는가?
• RQ3 계층적 정규화가 정확도를 저하시키지 않으면서도, 특히 집계된 수준에서 예측 일관성을 얼마나 향상시키는가?
• RQ4 다양한 데이터셋에서 최신 기준 모델과 비교했을 때, 정확도(WAPE/SMAPE) 및 일관성 메트릭 모두에서 성능이 어떻게 되는가?
• RQ5 모델이 추론 시 계층 내 모든 시계열에 대한 접근이 필요 없이도 미니배치로 효율적으로 학습될 수 있는가?

주요 결과

• HiReD는 M5, Favorita, Tourism 데이터셋에서 최고 성능을 기록하였으며, M5에서 평균 WAPE는 0.113, Favorita에서는 0.030을 기록하여 모든 기준 모델을 능가했다.
• 제거 실험 결과, 계층적 정규화($\lambda_E=0$) 또는 BD 구성 요소를 제거할 경우 정확도가 크게 떨어지며, 이는 양 구성 요소의 중요성을 확인한다.
• RNN 기준 모델 대비 HiReD는 일관성 편차를 최대 70% 감소시켰으며, Favorita 데이터셋의 Level 0에서 예측값과 일관성 있는 목표값 간 WAPE는 0.043에서 0.004로 감소했다.
• BD가 학습한 기저 함수는 주로 주간 주기(주기 7)를 포함한 주요 글로벌 패턴을 포착하고 있으며, M5 검증 세트에서 시각화되었다.
• 잎 수준(예: Level 3)에서는 TVAR 구성 요소가 최종 예측에 지배적임을 확인하여, 세밀한 해상도에서 로컬 역학이 글로벌 패턴보다 더 중요함을 시사한다.
• 모델은 모든 계층 수준에서 뛰어난 성능을 유지하며, 특히 집계 오차가 가장 영향을 미치는 높은(粗) 수준에서 정확도와 일관성 향상이 뚜렷하게 관찰되었다.