[논문 리뷰] Multivariate Quantile Function Forecaster

Kelvin K.W. Kan, François-Xavier Aubet외 5명|arXiv (Cornell University)|2022. 02. 23.

Forecasting Techniques and Applications인용 수 8

한 줄 요약

이 논문은 입력-볼록 신경망의 기울기를 사용하여 다변량 다단계 확률 예측을 모델링하는 새로운 다변량 분위수 함수 예측기인 MQF²을 소개한다. 이는 단조성과 분위수 교차 방지를 보장하며, 오차 누적이 없는 시간적 의존성을 포착함으로써 최신 기술 수준의 성능을 달성한다. 자동재귀적 모델과 독립적인 다단계 모델을 모두 능가하며 시간적 구조적 의존성을 효과적으로 모델링한다.

ABSTRACT

We propose Multivariate Quantile Function Forecaster (MQF$^2$), a global probabilistic forecasting method constructed using a multivariate quantile function and investigate its application to multi-horizon forecasting. Prior approaches are either autoregressive, implicitly capturing the dependency structure across time but exhibiting error accumulation with increasing forecast horizons, or multi-horizon sequence-to-sequence models, which do not exhibit error accumulation, but also do typically not model the dependency structure across time steps. MQF$^2$ combines the benefits of both approaches, by directly making predictions in the form of a multivariate quantile function, defined as the gradient of a convex function which we parametrize using input-convex neural networks. By design, the quantile function is monotone with respect to the input quantile levels and hence avoids quantile crossing. We provide two options to train MQF$^2$: with energy score or with maximum likelihood. Experimental results on real-world and synthetic datasets show that our model has comparable performance with state-of-the-art methods in terms of single time step metrics while capturing the time dependency structure.

연구 동기 및 목표

• 기존의 확률적 예측 방법이 다변량 환경에서 시간 단계 간의 시간적 의존성을 모델링하지 못하는 한계를 해결하기 위해.
• 최적 운반 이론과 볼록 분석을 활용하여 단변량 분위수 함수 예측을 다변량으로 확장하기 위해.
• 오차 누적이 방지되면서도 현실적인 표본 경로를 유지하는 글로벌 비자동재귀적 예측 방법을 개발하기 위해.
• 공급망 및 재고 관리와 같은 응용 분야에서의 후속 의사결정을 위한 정확하고 일관되며 해석 가능한 확률적 예측을 가능하게 하기 위해.
• 에너지 점수 또는 최대우도를 사용하는 민감도 높고 확장 가능한 추론을 지원하는 유연한 훈련 프레임워크를 제공하기 위해.

제안 방법

• MQF²는 다변량 분위수 함수를 볼록 함수의 기울기로 모델링하며, 입력-볼록 신경망을 통해 파arameter화하여 단조성과 분위수 교차 방지를 보장한다.
• 메트릭스 이론과 쿤트-스미스 최적성 기준을 사용하여 브레니에의 정리를 통해 제곱 비용을 갖는 최적 운반 문제의 해로서 다변량 분위수 함수를 정의한다.
• 에너지 점수 최소화를 통한 강인한 다변량 校정과 볼록 잠재 흐름을 통한 밀도 기반 학습을 위한 최대우도를 지원하는 두 가지 훈련 목표를 제공한다.
• 예측의 순차적 맥락을 처리하고 공동 다단계 예측을 생성하기 위해 RNN 기반 특징 추출기와 분위수 함수 모델을 통합한다.
• 표본 경로는 직접적으로 분위수 함수에서 생성되며, 시간적 일관성과 의존성 구조를 유지한다.
• 에너지 점수 또는 우도 목표를 사용하여 엔드 투 엔드로 모델을 훈련시켜 민감하고 확장 가능한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다변량 분위수 함수는 시간적 의존성을 유지하면서 공동 다단계 확률 예측을 효과적으로 모델링할 수 있는가?
• RQ2 분위수 함수를 볼록 함수의 기울기로 모델링할 경우 다변량 환경에서 분위수 교차를 방지하고 단조성을 보장할 수 있는가?
• RQ3 MQF²은 자동재귀적 모델과 다단계 시퀀스-투-시퀀스 모델에 비해 시간 의존성 구조를 얼마나 잘 포착하는가?
• RQ4 MQF²은 오차 누적이 없는 현실적인 표본 경로를 생성할 수 있는가? 이는 진정한 시계열 역학을 반영하는가?
• RQ5 에너지 점수는 다변량 분위수 함수 예측에 대해 실용적이고 강인한 훈련 목표로 적합한가?

주요 결과

• MQF²는 합성 가우시안 프로세스 데이터의 진짜 상관 구조를 MQCNN 및 DeepAR보다 더 잘 포착하며, 상관 행렬 추정에서 가장 낮은 평균 절대 오차(MAE)를 기록한다.
• 실제 데이터셋에서 MQF²는 최신 기술 수준의 모델과 유사한 단일 단계 예측 정확도를 달성하면서도 시간 의존성을 명시적으로 모델링한다.
• MQF²가 생성한 표본 경로는 현실적인 부드러움과 시간적 일관성을 보이며, 독립적인 시간점 모델링으로 인해 MQCNN은 비정상적이고 기복이 심한 표본을 생성하는 것과 대비된다.
• 에너지 점수 훈련 목표는 명시적인 밀도 추정이 필요 없이도 고품질의 다변량 校정을 가능하게 하여 효과적이고 강인한 것으로 입증되었다.
• MQF²는 자동재귀 모델의 주요 한계인 오차 누적 문제를 피하면서도 단변량 지표에서 경쟁적인 성능을 유지한다.
• 모델은 분위수 함수에서 직접적으로 일관된 표본 경로를 생성할 수 있으며, 이는 재고 관리와 같은 응용 분야에서의 후속 의사결정에 매우 중요하다.