[논문 리뷰] Evaluating Probabilistic Forecasts with scoringRules

Alexander I. Jordan, Fabian Krüger외 1명|arXiv (Cornell University)|2017. 09. 14.

Meteorological Phenomena and Simulations참고 문헌 11인용 수 38

한 줄 요약

이 논문은 기상학 및 경제학 등 응용 분야에서 파라미터형 및 시뮬레이션 기반 예측 분포를 비교 평가할 수 있도록 지원하는 효율적이고 수치적으로 안정적인 적절한 점수 규칙—예를 들어 CRPS, 로그 점수, 에너지 점수, 변동도 점수—의 구현을 제공하는 R 패키지 scoringRules를 소개한다.

ABSTRACT

Probabilistic forecasts in the form of probability distributions over future events have become popular in several fields including meteorology, hydrology, economics, and demography. In typical applications, many alternative statistical models and data sources can be used to produce probabilistic forecasts. Hence, evaluating and selecting among competing methods is an important task. The scoringRules package for R provides functionality for comparative evaluation of probabilistic models based on proper scoring rules, covering a wide range of situations in applied work. This paper discusses implementation and usage details, presents case studies from meteorology and economics, and points to the relevant background literature.

연구 동기 및 목표

• 확률적 예측을 평가하기 위한 적절한 점수 규칙을 계산하기 위한 포괄적이고 사용자 友好的인 R 패키지 제공
• 파라미터형 및 비모수형(표본 기반) 예측 분포를 포함한 다양한 통계 모델 간의 비교 평가를 지원하는 응용 예측 맥락에서의 활용
• 기상학, 경제학, 수문학 등과 같은 분야에서 다양한 예측 모델 간에 원칙적이고 통계적으로 타당한 도구를 통해 최적의 모델을 선별할 필요를 해결
• 에너지 점수 및 변동도 점수와 같은 다변량 확장 형태를 포함한, 효율적이고 닫힌 형태의 알고리즘 및 수치적 알고리즘을 통한 점수 규칙의 구현
• 베이지안 및 빈도주의 예측 방법을 포함한 R에서 일반적으로 사용되는 모델링 워크플로우와의 원활한 통합 지원

제안 방법

• 파라미터형 예측 분포에 대해 연속 순위 확률 점수(CRPS) 및 로그 점수(LogS)를 닫힌 형태의 해석적 표현을 사용하여 구현
• 몬테카를로 표본을 통해 정의된 예측 분포에 대해 수치적 방법을 사용하여 점수 규칙을 계산하며, 경험적 근사치를 활용
• 에너지 점수(ES) 및 변동도 점수(VS^p)를 통해 다변량 예측 평가를 지원하며, 구성 가능한 가중치 및 순서를 제공
• 숫자 벡터 및 모델 객체에 대한 메서드를 갖춘 S3 일반 함수(예: crps(), logs()) 설계로, 사용자 정의 클래스로의 확장성 확보
• 대규모 예측 평가 작업에서 계산 성능을 보장하기 위해 효율적인 수치 적분 및 벡터화 연산을 R에서 활용
• 기본 설정에서 통계 원칙을 통합하여, 적절한 점수 규칙을 통해 예측자가 자신의 진정한 신념을 보고하도록 유도

실험 결과

연구 질문

• RQ1 응용 연구 맥락에서 다양한 모델의 확률적 예측을 적절한 점수 규칙을 사용해 체계적으로 비교할 수 있는 방법은 무엇인가?
• RQ2 파라미터형 및 시뮬레이션 기반 예측 분포 모두에 대해 CRPS 및 LogS와 같은 점수 규칙을 효과적이고 계산적으로 효율적으로 구현하는 방법은 무엇인가?
• RQ3 에너지 점수 및 변동도 점수와 같은 다변량 점수 규칙을 어떻게 실질적으로 적용하여 연합 예측 분포를 평가할 수 있는가?
• RQ4 향후 예측 응용 분야에서 새로운 모델 클래스와 점수 규칙을 지원하기 위해 scoringRules R 패키지를 어떻게 확장할 수 있는가?
• RQ5 기상학적 앙상블 예측이나 경제학적 인플레이션 예측과 같은 실제 예측 상황에서 다양한 점수 규칙의 성능은 어떻게 평가되는가?

주요 결과

• scoringRules 패키지는 파라미터형 및 시뮬레이션 기반 예측 분포 모두에 대해 CRPS, LogS, 에너지 점수, 변동도 점수의 효율적이고 수치적으로 안정적인 구현을 제공한다.
• 경제 사례 연구의 다변량 예측 사례에서 에너지 점수(ES)는 4.13으로 계산되었고, 변동도 점수(VS^p, p=0.5)는 7.05로 산출되어 실제 데이터 기반 실용적 평가를 입증하였다.
• 여러 예측 사례에 걸쳐 점수를 집계함으로써, 패키지는 여러 예측 수준과 모델 간의 비교 예측 평가를 지원한다.
• 사용자 정의 모델 클래스(예: crch 패키지의 'crch' 객체)로의 확장이 가능한 S3 일반 함수를 포함하여, 기존 모델링 워크플로우와의 통합을 가능하게 한다.
• 패키지는 절대적 예측 평가(예: PIT 히스토GRAM)를 피하고 오직 적절한 점수 규칙을 통한 비교 평가에 집중한다.
• 향후 확장 사례로는 다우이드-세바스티아니 점수와 같은 새로운 점수 규칙 및 수요와 해석 가능성에 따라 추가적인 파라미터형 분포 가족의 통합을 고려할 수 있다.