[논문 리뷰] C2FAR: Coarse-to-Fine Autoregressive Networks for Precise Probabilistic Forecasting

Shane Bergsma, Timothy Zeyl외 2명|arXiv (Cornell University)|2023. 12. 22.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

C2FAR는 단변량 수치 출력에 대한 계층적 거친-정밀 이산화를 제시하여, 이산적, 연속적 및 혼합 데이터를 처리하는 자동회귀 확률 예측을 가능하게 하며, 분포 회복 및 예측 정확도에서 최첨단 방법들 대비 향상된 성능을 제공합니다.

ABSTRACT

We present coarse-to-fine autoregressive networks (C2FAR), a method for modeling the probability distribution of univariate, numeric random variables. C2FAR generates a hierarchical, coarse-to-fine discretization of a variable autoregressively; progressively finer intervals of support are generated from a sequence of binned distributions, where each distribution is conditioned on previously-generated coarser intervals. Unlike prior (flat) binned distributions, C2FAR can represent values with exponentially higher precision, for only a linear increase in complexity. We use C2FAR for probabilistic forecasting via a recurrent neural network, thus modeling time series autoregressively in both space and time. C2FAR is the first method to simultaneously handle discrete and continuous series of arbitrary scale and distribution shape. This flexibility enables a variety of time series use cases, including anomaly detection, interpolation, and compression. C2FAR achieves improvements over the state-of-the-art on several benchmark forecasting datasets.

연구 동기 및 목표

• 이질적인 규모의 시계열 데이터와 혼합 이산/연속 데이터를 위한 확률적 예측의 필요성을 제시한다.
• 선형 매개변수 증가로도 기하급수적으로 높은 정밀도를 얻는 거칠-정밀 이산화를 도입한다.
• 개방형 꼬리에 대한 최종 매개 분포를 생성하는 계층적 구간 지표를 생성하는 자기회귀 모델을 개발한다.
• DeepAR 스타일 예측에 C2FAR를 통합하여 시공간 모두에서 시계열을 자기회귀적으로 모델링한다.
• 다양한 데이터셋에서 분포 회복 및 예측 정확도의 실증적 이득을 입증한다.

제안 방법

• 각 레벨 B에서 구간을 가지는 B-레벨 계층적 이산화 z = d(z)를 정의하고, 각 레벨에서 K개의 구간으로 이루어진 트리 형태의 구간을 형성한다.
• p(z|x)를 각 z^i가 B_i 구간의 범주형인 p(z^i | x, z^{<i})의 곱으로 모델링한다.
• 신경망을 사용해 각 레벨의 조건부를 softmax 출력으로 매개화하여 엔드투엔드 NLL 학습을 가능하게 한다.
• 최종 레벨 B+1에서 극단 구간 엔드포인트를 조건으로 하는 Uniform 또는 Pareto 꼬리 분포의 매개 분포에서 실제 값을 생성한다.
• 출력을 z_t = d(z_t)로 이산화하고 각 레벨의 LSTM을 통해 내재적으로 순서를 생성하는 DeepAR-를 보완하는 C2FAR-RNN 예측 프레임워크를 채택한다.
• 출력의(logarithmic) 증가(K^B 구간)에 대해 매개변수 수는 선형(KB)로 증가하는 복잡도 분석을 제공한다.
• 학습은 이산화된 출력에 대한 NLL를 최적화하며, 예측 시 샘플링은 거칠-정밀 구간 생성 및 최종 꼬리 분포 샘플링을 따른다.

(a) Flat binning

실험 결과

연구 질문

• RQ1 계층적 거친-정밀 이산화가 이산적, 연속적 및 혼합 데이터에 걸친 단변량 수치 출력의 확률적 예측을 개선할 수 있는가?
• RQ2 플랫한 구간화에 비해 매개변수 증가가 선형인 상태에서 더 높은 정밀도 표현을 가능하게 하면서 예측 정확도와 보정(calibration)을 유지하거나 향상시키는가?
• RQ3 다양한 스케일과 분포를 가진 실제 데이터셋에서 DeepAR 스타일 자기회귀 예측에 통합했을 때 C2FAR의 성능은 어떠한가?
• RQ4 다계층 C2FAR 모델의 모델 복잡도, 학습 시간, 튜닝에서의 실용적 트레이드오프는 플랫 구간화나 표준 매개 분포 출력 대비 어떠한가?

주요 결과

Dataset	ND% (Naïve)	wQL% (Naïve)	Cov80% (Naïve)	Cov99% (Naïve)	ND% (Seasonal-naïve)	wQL% (Seasonal-naïve)	Cov80% (Seasonal-naïve)	Cov99% (Seasonal-naïve)	ND% (ETS)	wQL% (ETS)	Cov80% (ETS)	Cov99% (ETS)	ND% (DeepAR-Gaussian)	wQL% (DeepAR-Gaussian)	Cov80% (DeepAR-Gaussian)	Cov99% (DeepAR-Gaussian)	ND% (C2FAR-RNN1)	wQL% (C2FAR-RNN1)	Cov80% (C2FAR-RNN1)	Cov99% (C2FAR-RNN1)	ND% (C2FAR-RNN2)	wQL% (C2FAR-RNN2)	Cov80% (C2FAR-RNN2)	Cov99% (C2FAR-RNN2)	ND% (C2FAR-RNN3)	wQL% (C2FAR-RNN3)	Cov80% (C2FAR-RNN3)	Cov99% (C2FAR-RNN3)
elec	40.8	73.6	35.7	3.49	6.97	25.1	33.2	3.67	8.61	33.3	34.3	7.05	16.1	43.8	3.60	6.14	13.0	24.6	2.95	4.87	10.7	21.3	2.41	6.00	13.3	24.1	2.77
traff	6.97	25.1	33.2	3.67	6.97	25.1	33.2	3.67	8.40	31.5	32.5	5.60	13.7	54.7	3.06	4.76	10.9	21.0	2.77	4.76	10.9	21.0	2.27	4.76	10.9	21.0	2.27
wiki	-	-	-	-	-	-	-	-	89.9	16.9	98.0	-	-	-	-	86.0	8.9	-	-	-	-	-	-	-	-	-	-
azure	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

• 더 깊은 C2FAR 모델(더 많은 레벨)은 플랫 구간화에 비해 다수의 데이터셋에서 성능이 향상된다.
• C2FAR-RNN3은 Elec, Traff, Wiki, Azure 데이터셋에서 DeepAR-Gaussian 및 기타 기준선 대비 보정(캘리브레이션)과 샤프니스가 경쟁력 있거나 우수하다.
• C2FAR는 합성 데이터에서 분포 회복이 정확하며 Gaussian 혼합물 및 이산 균일 분포 회복에서 SQF-RNN 및 IQN-RNN을 능가한다.
• C2FAR의 이산화는 RNN 기반 예측에서 최첨단 출력 분포 대비 예측 정확도와 확률적 보정을 크게 향상시킨다.
• 적절한 하이퍼파라미터 조정하에 C2FAR를 적용한 플랫 구간화도 표준 매개 출력 대비 우수할 수 있으며, 다계층 C2FAR 모델은 추가 이득을 낳는다.
• 이 접근 방식은 이산 및 연속 시계열의 동시 모형화를 지원하며, 많은 경우에서 커버리지(Cov80, Cov99)가 개선되고 예측 구간이 더 좁아진다.

(b) 2-level C2F binning