[논문 리뷰] Simultaneously Reconciled Quantile Forecasting of Hierarchically Related Time Series

Xing Han, Sambarta Dasgupta외 1명|arXiv (Cornell University)|2021. 02. 25.

Forecasting Techniques and Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 다양한 정규화를 적용한 미분 가능한 분위수 회귀 손실을 통해 계층적 시간 시리즈에서 동시에 일致하는 분위수 예측을 위한 새로운 프레임워크인 SHARQ를 제안한다. 이 방법은 계층적 일관성 제약 조건을 딥 러닝 모델 훈련 과정에 직접 통합함으로써 계산 비용이 높은 행렬 역행렬 계산 없이도 비정규 분포 잡음과 편향된 추정기 조건에서도 최신 기술보다 뛰어난 예측 정확도와 일관성을 달성한다.

ABSTRACT

Many real-life applications involve simultaneously forecasting multiple time series that are hierarchically related via aggregation or disaggregation operations. For instance, commercial organizations often want to forecast inventories simultaneously at store, city, and state levels for resource planning purposes. In such applications, it is important that the forecasts, in addition to being reasonably accurate, are also consistent w.r.t one another. Although forecasting such hierarchical time series has been pursued by economists and data scientists, the current state-of-the-art models use strong assumptions, e.g., all forecasts being unbiased estimates, noise distribution being Gaussian. Besides, state-of-the-art models have not harnessed the power of modern nonlinear models, especially ones based on deep learning. In this paper, we propose using a flexible nonlinear model that optimizes quantile regression loss coupled with suitable regularization terms to maintain the consistency of forecasts across hierarchies. The theoretical framework introduced herein can be applied to any forecasting model with an underlying differentiable loss function. A proof of optimality of our proposed method is also provided. Simulation studies over a range of datasets highlight the efficacy of our approach.

연구 동기 및 목표

• 기본 모델이 비편향성이나 정규 분포 잡음과 같은 강력한 가정을 위반하는 경우에도 계층적으로 관련된 시간 시리즈 간 정확하고 일관된 확률적 예측을 생성하는 데 도전하는 것.
• 후행 재조정이 필요 없도록 계층적 일관성을 딥 러닝 모델의 훈련 과정에 직접 통합하는 것.
• 모든 미분 가능한 예측 모델과 분위수 손실 함수를 지원하는 유연하고, 미분 가능한 프레임워크를 개발하여 종단 간 최적화를 가능하게 하는 것.
• MinT 및 ERM 기반 재조정 방법에서 흔히 사용되는 행렬 역행렬 연산을 피함으로써 추론 과정의 계산 복잡도를 감소시키는 것.
• 비정규 분포 잡음과 편향된 기본 예측이 존재하는 실세계 환경에서 기존 재조정 기법의 성능이 저하되는 상황에서의 강건성을 향상시키는 것.

제안 방법

• 모든 계층 수준에서의 집계 일관성을 강제하기 위해 분위수 회귀 손실과 계층 정규화 항을 조합한 미분 가능한 목적 함수를 사용한다.
• 하향식 훈련을 수행하며, 인접한 수준의 모델 파라미터를 동시에 업데이트하면서도 구조화된 정규화 체계를 통해 일관성 제약 조건을 유지한다.
• 정규화 강도는 수준별로 하이퍼파rameter λ_i를 사용해 조정되며, 하위 수준에서의 오류 전파 위험 감소를 반영해 고차수 계층에서 더 낮은 값을 적용한다.
• 이 프레임워크는 임의의 미분 가능한 예측 모델에 적용 가능하므로, RNN 또는 Transformer와 같은 현대적인 딥 러닝 아키텍처와의 통합이 가능하다.
• 하향식으로 예측값의 합이 부모 노드의 예측값과 일치하도록 제약 조건을 설정하고, 페널티 항을 통해 이를 강제한다.
• MinT나 ERM와 같은 기존 방법에서 흔히 발생하는 행렬 역행렬 계산을 피하기 위해 종단 간 일관된 예측을 학습함으로써 추론 과정에서의 계산 오버헤드를 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 후행 재조정이 필요 없이, 딥 러닝 기반 예측 모델을 계층적 시간 시리즈 전체에 걸쳐 동시에 정확하고 일관된 예측을 생성하도록 훈련시킬 수 있는가?
• RQ2 비정규 분포 잡음과 편향된 기본 예측이 존재하는 조건에서, 계층적 일관성을 미분 가능한 정규화 항으로 통합할 경우 예측 정확도와 일관성에 어떤 영향을 미치는가?
• RQ3 MinT 및 ERM와 같은 최신 기술과 비교했을 때, 제안된 방법은 추론 복잡도를 얼마나 감소시키는가?
• RQ4 손실 함수 수동 선택이 필요 없이 다양한 소음 특성과 계층적 구조를 가진 시간 시리즈에 대해 일반화 가능한가?
• RQ5 감소하는 λ_i 값을 갖는 수준별 정규화 전략이 집계 수준 간 오류 전파와 예측 일관성에 어떤 영향을 미치는가?

주요 결과

• SHARQ는 기본 모델(정규화 없이)보다 훨씬 낮은 일관성 손실을 기록하며, 모든 데이터셋과 예측 모델에서 일관성 손실이 급격히 감소하는 경향을 보였다.
• M5 경진대회 데이터셋(42,840개의 시간 시리즈)에서 SHARQ는 수준 4(하위 수준)에서 CRPS 0.135를 기록했으며, MinT-ols(0.162)와 ERM(0.172)를 모두 능가해 뛰어난 정확도와 일관성을 입증했다.
• 상위 수준(수준 1)에서는 SHARQ가 CRPS 0.067을 기록했으며, MinT-ols(0.086)와 ERM(0.098)보다 유의미하게 낮아 집계 수준에서의 성능 향상을 시사했다.
• 행렬 역행렬 계산을 피하기 때문에 추론 복잡도가 감소하여 수십만 개의 시간 시리즈를 포함하는 산업 응용 분야에서의 확장성 확보에 기여했다.
• 실증 결과에 따르면, SHARQ는 비정규 분포 잡음과 편향된 기본 예측 조건에서도 기존 방법(MinT, ERM)이 심각하게 성능 저하되는 상황에서도 강건한 성능 유지를 보였다.
• 감소하는 λ_i 값을 갖는 수준별 정규화 전략이 고차수 집계 수준에서의 오류 누적 문제를 효과적으로 완화하여 전체 예측 신뢰도를 향상시켰다.