[논문 리뷰] Probabilistic Forecasting with Generative Networks via Scoring Rule Minimization

Lorenzo Pacchiardi, Rilwan Adewoyin외 2명|arXiv (Cornell University)|2021. 12. 15.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 시간적 순서를 가진 시계열 데이터에서 예측 순서형(prequential) 점수 규칙을 최소화하여 생성적 신경망을 훈련시켜 확률적 예측을 수행하는 방법을 제안한다. 이는 적대적 훈련을 피함으로써 안정적이고 校정된 예측을 보장하며, 하이퍼파rameter 조정이 적고, 특히 불확실성 정량화 측면에서 GAN 기반 접근법을 능가한다. 이는 약한 혼합 조건 하에서도 일致성을 입증한다.

ABSTRACT

Probabilistic forecasting relies on past observations to provide a probability distribution for a future outcome, which is often evaluated against the realization using a scoring rule. Here, we perform probabilistic forecasting with generative neural networks, which parametrize distributions on high-dimensional spaces by transforming draws from a latent variable. Generative networks are typically trained in an adversarial framework. In contrast, we propose to train generative networks to minimize a predictive-sequential (or prequential) scoring rule on a recorded temporal sequence of the phenomenon of interest, which is appealing as it corresponds to the way forecasting systems are routinely evaluated. Adversarial-free minimization is possible for some scoring rules; hence, our framework avoids the cumbersome hyperparameter tuning and uncertainty underestimation due to unstable adversarial training, thus unlocking reliable use of generative networks in probabilistic forecasting. Further, we prove consistency of the minimizer of our objective with dependent data, while adversarial training assumes independence. We perform simulation studies on two chaotic dynamical models and a benchmark data set of global weather observations; for this last example, we define scoring rules for spatial data by drawing from the relevant literature. Our method outperforms state-of-the-art adversarial approaches, especially in probabilistic calibration, while requiring less hyperparameter tuning.

연구 동기 및 목표

• 생성 모델의 확률적 예측에 있어 적대적 훈련의 불안정성과 하이퍼파rameter 민감성 문제를 해결하기 위해.
• 기존의 GAN이 i.i.d. 데이터를 가정하는 것과는 달리, 순차적 데이터의 시간적 의존성을 존중하는 훈련 프레임워크를 개발하기 위해.
• 기상 예측과 같은 고차원 시공간 예측에서 신뢰할 수 있는 불확실성 정량화를 가능하게 하기 위해.
• 약한 혼합 조건 하에서 예측 순서형 점수 규칙의 최소화자(minimizer)의 일치성(consistency)을 증명하여 渐近적 정확성을 보장하기 위해.
• 공간 및 시공간 데이터에 적합한 점수 규칙을 설계하여 변환 없이도 원시 관측 데이터에 직접 훈련할 수 있도록 하기 위해.

제안 방법

• 기록된 시간 시계열에서 예측 순서형 점수 규칙을 최소화하여 생성 네트워크를 훈련시키며, 예측은 과거 관측에 조건화된다.
• 생성된 분포에 대한 기대값으로 정의된 점수 규칙을 기반으로 한 기울기 기반 최적화를 가능하게 하기 위해 재구성 기법(reparametrization trick)을 사용한다.
• 에너지, 커널, 변량함수(variogram), 하이브리드 점수 등 기존 기상학적 지표를 활용해 고차원 공간 데이터에 적합한 점수 규칙을 정의한다.
• 조기 정지(early stopping)를 적용하고, 관측 창 당 고정된 수의 생성기 샘플(예: 10개)을 사용하여 정확성과 계산 비용의 균형을 맞춘다.
• 판별기(discriminator) 없이 훈련하므로 모드 붕괴(mode collapse)가 발생하지 않으며, 하이퍼파rameter 조정이 크게 줄어든다.
• 정상성과 혼합 조건 하에서 최소화자의 渐近 일치성을 증명하며, 경험적 예측 순서형 점수와 진정한 기대 점수 간의 연결을 제시한다.

실험 결과

연구 질문

• RQ1 적대적 훈련 없이도 생성 네트워크가 확률적 예측에 효과적으로 훈련될 수 있는가?
• RQ2 예측 순서형 점수 규칙을 최소화하는 것이 시간적 시계열 예측에서 적대적 훈련보다 더 우수한 校정성과 안정성을 제공하는가?
• RQ3 공간 데이터에 적합한 점수 규칙이 고차원 시공간 관측 데이터에 대해 생성 모델을 효과적으로 훈련시키는 데 사용될 수 있는가?
• RQ4 불확실성 정량화 및 계산 효율성 측면에서 제안된 방법은 최신 GAN 기반 접근법과 어떻게 비교되는가?
• RQ5 약한 시간적 의존성 가정 하에서 예측 순서형 점수 규칙의 최소화자가 진정한 데이터 생성 분포와 일치하는가?

주요 결과

• 제안된 방법은 GAN 기반 접근법보다 확률적 校정성에서 뛰어나며, 특히 시간적 시계열 플롯에서 더 좁고 정확한 신뢰 구간을 제공함으로써 불확실성을 잘 포착함을 입증하였다.
• 점수 규칙을 통한 훈련은 하이퍼파rameter 조정이 크게 줄었으며, GAN에 비해 테스트한 학습률 값이 6개 뿐이었고, GAN의 경우 49개였기에 총 계산 비용이 감소했다. 일부 경우는 에포크당 비용이 더 높았지만 전체적으로는 효율성이 높았다.
• 에너지-변량함수 점수 규칙과 커널-변량함수 점수 규칙은 각각 총 훈련 비용이 24,346초와 24,393초였으며, 이는 49개의 학습률 시험을 고려해 WGAN-GP가 요구하는 343,000초보다 낮은 비용이었다.
• 관측 창 당 50개의 생성기 샘플을 사용한 경우에도 에너지 점수 규칙의 총 계산 비용은 25,865초였고, 동일한 학습률 검색 조건에서 WGAN-GP의 343,000초보다 낮았다.
• 모드 붕괴 없이 안정적인 훈련이 가능했으며, 동일한 설정에서 GAN은 시간적 시계열 플롯에서 심각한 불확실성 과소평가와 물리적으로 비합리적인 예측 진화를 보였다.
• 정상성과 혼합 조건 하에서 이론적으로 일치성이 입증되었으며, 모델이 잘 지정되어 있을 경우 예측 순서형 점수의 최소화자가 진정한 매개변수 값으로 수렴함을 보였다.