[논문 리뷰] Evaluating probabilistic forecasts of extremes using continuous ranked probability score distributions

Maxime Taillardat, Anne‐Laure Fougères외 2명|arXiv (Cornell University)|2023. 07. 01.

Financial Risk and Volatility Modeling참고 문헌 39인용 수 5

한 줄 요약

이 논문은 극단적 사건의 확률적 예측을 평가하기 위한 새로운 프레임워크를 제안한다. 이는 연속 랭크 확률 점수(CRPS)를 무작위 변수로 간주하고, 극단가 이론(EVT)을 사용해 그 꼬리 행동을 분석함으로써 이루어진다. 저자들은 CRPS 분포에 캄러-폰 마이어스 기준을 적용한 새로운 지수를 도입하여, 특히 예측이 校정되어 있을 경우 기존의 기대 CRPS나 가중치가 부여된 CRPS보다 극단 꼬리 행동에서 예측 성능을 더 잘 포착한다.

ABSTRACT

Verifying probabilistic forecasts for extreme events is a highly active research area because popular media and public opinions are naturally focused on extreme events, and biased conclusions are readily made. In this context, classical verification methods tailored for extreme events, such as thresholded and weighted scoring rules, have undesirable properties that cannot be mitigated, and the well-known continuous ranked probability score (CRPS) is no exception. In this paper, we define a formal framework for assessing the behavior of forecast evaluation procedures with respect to extreme events, which we use to demonstrate that assessment based on the expectation of a proper score is not suitable for extremes. Alternatively, we propose studying the properties of the CRPS as a random variable by using extreme value theory to address extreme event verification. An index is introduced to compare calibrated forecasts, which summarizes the ability of probabilistic forecasts for predicting extremes. The strengths and limitations of this method are discussed using both theoretical arguments and simulations.

연구 동기 및 목표

• 극단적 사건에 대한 표준 CRPS와 가중치가 부여된 CRPS가 예측 성능을 구분하는 데 한계를 보이는 이유를 다루기.
• CRPS와 같은 적절한 점수 기준의 기대값이 극단적 사건에서 꼬리 행동의 차이를 포착하지 못함을 밝히기.
• CRPS의 분포적 성질에 기반한 새로운 평가 프레임워크를 개발하여 극단적 상황에서의 예측 능력을 더 잘 평가하기.
• 예측의 극단 예측 능력을 보완적으로 요약하는 새로운 지수를 제안하고 검증하기.
• 이론과 시뮬레이션을 통해 CRPS를 무작위 변수로 간주할 경우 평균 기반 평가에서 놓치는 중요한 꼬리 행동을 드러냄.

제안 방법

• CRPS를 결정론적 점수로 보는 대신 무작위 변수로 간주하여 그 분포적 성질을 분석할 수 있도록 함.
• 극단가 이론(EVT)을 적용해 CRPS 분포의 꼬리 행동을 모델링하고 관측 데이터의 꼬리 행동과 비교함.
• CRPS 값의 경험적 분포에 캄러-폰 마이어스 기준을 적용한 새로운 지수를 도입함.
• 이 지수를 사용해 다양한 꼬리 범위에서의 예측 성능을 비교하며, 특히 校정된 예측과 비교된 예측을 구분함.
• CRPS 분포의 꼬리 지수와 관측 분포의 꼬리 지수 간의 이론적 연관성을 분석함.
• 알려진 꼬리 행동을 가진 시뮬레이션(예: 일반화된 파레토, 프레셰)을 사용해 방법을 검증하고, 다양한 임계값과 표본 크기에서의 강인성 평가함.

실험 결과

연구 질문

• RQ1 표준 CRPS와 가중치가 부여된 CRPS가 극단적 사건에서 서로 다른 꼬리 행동을 가진 예측을 어떻게 식별하지 못하는가?
• RQ2 CRPS의 분포, 즉 기대값이 아닌 분포를 고려할 경우 극단적 사건 예측에서 더 나은 식별이 가능한가?
• RQ3 CRPS의 꼬리 행동은 실제 관측치의 꼬리 행동과 어떻게 관련이 있는가?
• RQ4 제안된 캄러-폰 마이어스 기반 지수의 이론적 및 실증적 성능은 극단 예측에서 뛰어난 예측을 식별하는 데 얼마나 효과적인가?
• RQ5 예측의 校정 정도가 극단적 사건 평가에서 새로운 지수의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 기대 CRPS와 가중치가 부여된 CRPS는 예측이 校정되어 있더라도 서로 다른 꼬리 행동을 가진 예측을 신뢰성 있게 구분하지 못함.
• CRPS 분포는 특히 예측이 校정되어 있을 경우 관측치의 꼬리 행동을 반영하는 무거운 꼬리 행동을 보임.
• 제안된 캄러-폰 마이어스 기반 지수는 비교적 비교적 비교된 예측이 존재하는 상황에서도 다양한 임계값에서 이상적인 예측이 가장 높은 지수값을 가지도록 성공적으로 식별함.
• 이 지수는 예측이 校정되어 있을 경우에 가장 신뢰할 수 있으며, 비교정된 예측은 잘못된 높은 지수값을 유도할 수 있음.
• 시뮬레이션 결과, 지수는 예측의 꼬리 성능에 따라 예측을 정확히 순위 매김하며 이상적인 예측이 항상 다른 예측보다 뛰어남.
• 이 방법은 전통적인 점수 평균화가 꼬리 특화된 예측 능력을 포착하지 못함을 드러내며, 극단적 사건 검증에서 점수 기준의 분포 분석이 필요함을 강조함.