[논문 리뷰] Learning Quantile Functions without Quantile Crossing for Distribution-free Time Series Forecasting

Youngsuk Park, Danielle C. Maddix외 4명|arXiv (Cornell University)|2021. 11. 12.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 11

한 줄 요약

이 논문은 양자수열 예측에서 분포 자유(probability-free) 예측을 가능하게 하며, 양자수열 교차를 방지하는 신경망 기반 프레임워크인 증분(Spline) 분위수 함수(I(S)QF)를 제안한다. 유연한 스퍼링 레이어를 통해 단조성 조건을 강제하고 분석적 CRPS 평가를 가능하게 함으로써, I(S)QF는 임의의 분위수 수준에 대한 보간 및 외삽을 지원하며 재학습이 필요 없게 되어, 다양한 벤치마크에서 예측의 일致성과 정확도를 크게 향상시킨다.

ABSTRACT

Quantile regression is an effective technique to quantify uncertainty, fit challenging underlying distributions, and often provide full probabilistic predictions through joint learnings over multiple quantile levels. A common drawback of these joint quantile regressions, however, is extit{quantile crossing}, which violates the desirable monotone property of the conditional quantile function. In this work, we propose the Incremental (Spline) Quantile Functions I(S)QF, a flexible and efficient distribution-free quantile estimation framework that resolves quantile crossing with a simple neural network layer. Moreover, I(S)QF inter/extrapolate to predict arbitrary quantile levels that differ from the underlying training ones. Equipped with the analytical evaluation of the continuous ranked probability score of I(S)QF representations, we apply our methods to NN-based times series forecasting cases, where the savings of the expensive re-training costs for non-trained quantile levels is particularly significant. We also provide a generalization error analysis of our proposed approaches under the sequence-to-sequence setting. Lastly, extensive experiments demonstrate the improvement of consistency and accuracy errors over other baselines.

연구 동기 및 목표

• 시간 시계열 예측의 연속 분위수 회귀에서 분위수 교차 문제를 해결함으로써 조건부 분위수 함수의 단조성 조건을 위반하지 않도록 하는 것.
• 딥러닝 기반 예측에서 주로 발생하는, 학습하지 않은 분위수 수준에서의 예측을 위한 재학습 필요성을 제거하는 것.
• 단조성과 분포 자유 가정을 유지하면서도 임의의 분위수 수준에서의 탄력적 보간 및 외삽을 가능하게 하는 것.
• 다중 수평, 다중 분위수 시퀀스-투-시퀀스 예측에 대한 일반화 오차 분석을 제공하는 것.
• 기존의 가우시안, SQF, 표준 분위수 헤드와 같은 베이스라인들에 비해 예측의 일치성과 정확도에서 뛰어난 성능을 보여주는 것.

제안 방법

• I(S)QF는 조건부 분위수 함수를 조각별 선형 스퍼링으로 매개변수화하는 신경망 레이어를 도입하여 단조성을 보장하고 분위수 교차를 방지한다.
• 학습 시 분위수 수준에 고정된 킷지(knots)를 갖는 학습 가능한 스퍼링 레이어를 사용하여 이들 사이의 매끄러운 보간과 극단적 킷지 외부로의 파arametric 외삽을 가능하게 한다.
• 프레임워크는 연속 랭크 확률 점수(CRPS)의 분석적 계산을 지원하여 몬테카를로 샘플링 없이도 효율적인 학습과 평가가 가능하다.
• 아키텍처는 MQ-CNN와 같은 시퀀스-투-시퀀스 모델에 통합되어 스퍼링 레이어를 통한 단조성 강제 조건을 갖는 엔드 투 엔드 학습이 가능하다.
• 이 방법은 임의의 분위수 수준에 대해 일반화 가능하며, 학습 범위 내 보간과 학습 범위 외 외삽 모두를 지원한다.
• 다중 수평 예측에 대한 정적성 가정 하에 라데마처 복잡도와 이질성 측도를 사용한 일반화 오차 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 시간 시계열 예측에서 분위수 교차 없이 조건부 분위수 함수의 단조성을 강제할 수 있는 신경망 레이어를 설계할 수 있는가?
• RQ2 재학습 없이도 임의의 분위수 수준에서 정확한 보간 및 외삽을 수행할 수 있는가?
• RQ3 I(S)QF에서 분석적 CRPS 계산이 샘플링 기반 방법에 비해 더 안정적이고 효율적인 학습을 이끌 수 있는가?
• RQ4 다중 수평 예측 환경에서 I(S)QF가 표준 분위수 헤드, 가우시안 가능도, SQF에 비해 일반화 성능에서 뛰어나게 되는가?
• RQ5 I(S)QF는 비모수적 가능도를 가정하지 않고도 복잡한 다중모달 또는 꼬리가 무거운 분포를 효과적으로 모델링할 수 있는가?

주요 결과

• I(S)QF는 M4 예측 벤치마크에서 가우시안, SQF, 표준 분위수 헤드 베이스라인에 비해 정확도와 일치성 지표 모두에서 최고 성능을 기록하였다.
• M4 데이터셋에서 5개의 학습 킷지를 사용한 ISQF는 M4-daily에서 평균 CRPS 0.042 ± 0.001을 달성하여 다음으로 우수한 방법(SQF)보다 12.5% 높은 성능을 보였다.
• M4-weekly 데이터셋에서는 ISQF가 MSIS[0.1] 점수를 65.8 ± 5.3으로 낮춰 가우시안 베이스라인의 80.4 ± 7.2보다 유의미하게 낮춘 바 있다.
• 스퍼링 킷지 수를 5개에서 20개로 증가시킬수록 무거운 꼬리 분포(예: 코시 분포) 및 다중모달 데이터를 모델링하는 데 있어 더 나은 피팅 성능을 보였다.
• 외삽 성능 또한 뛰어났다: M4-weekly에서 ISQF는 98% 예측 구간의 MSIS[0.02]를 157.6 ± 31.2로 기록하여 SQF(50.8 ± 5.8)와 가우시안(80.4 ± 7.2)을 모두 압도하였다.
• 일반화 오차 분석 결과, I(S)QF가 다중 수평, 다중 분위수 환경에서 낮은 라데마처 복잡도와 이질성을 유지함을 확인하여 강력한 일반화 성능을 보였다.