[논문 리뷰] A scoring framework for tiered warnings and multicategorical forecasts based on fixed risk measures

Robert Taggart, Loveday, Nicholas외 1명|arXiv (Cornell University)|2021. 08. 29.

Forecasting Techniques and Applications참고 문헌 20인용 수 16

한 줄 요약

이 논문은 고정된 위험 기준(α)을 기반으로 순서가 있는 다중범주 예측(예: 계층적 기상 경보)을 평가하기 위한 유연한 스코어링 함수 가족인 FIxed Risk Multicategory (FIRM) 예측 프레임워크를 소개한다. 이 프레임워크는 사용자가 정의한 가중치와 가까운 실수에 대한 거리 기반 할인 기능을 포함한 위험 일관성 있는 스코어링 행렬을 사용하며, 스코어 최적화가 의사결정 이론적 지침과 일치하도록 보장하여 기존의 변동하는 기준과 기저 빈도에 의존하는 전통적 공정 스코어에 대한 강력한 대안을 제공한다.

ABSTRACT

The use of tiered warnings and multicategorical forecasts are ubiquitous in meteorological operations. Here, a flexible family of scoring functions is presented for evaluating the performance of ordered multicategorical forecasts. Each score has a risk parameter $\alpha$, selected for the specific use case, so that it is consistent with a forecast directive based on the fixed threshold probability $1-\alpha$ (equivalently, a fixed $\alpha$-quantile mapping). Each score also has use-case specific weights so that forecasters who accurately discriminate between categorical thresholds are rewarded in proportion to the weight for that threshold. A variation is presented where the penalty assigned to near misses or close false alarms is discounted, which again is consistent with directives based on fixed risk measures. The scores presented provide an alternative to many performance measures currently in use, whose optimal threshold probabilities for forecasting an event typically vary with each forecast case, and in the case of equitable scores are based around sample base rates rather than risk measures suitable for users.

연구 동기 및 목표

• 기존의 공정 스코어링 함수가 표본의 기저 빈도에 연결된 변동하는 임계확률을 최적화하나, 사용자 고유의 위험 수용 수준과는 무관하다는 한계를 해결하기 위해.
• 예측 성능 평가가 고정된 위험 지침(예: 사건 발생 확률이 1−α를 초과할 경우 경보를 발령함)과 일치하도록 하는 스코어링 프레임워크를 개발하기 위해.
• 사용자 비용의 비대칭성(가짜 경보와 빠진 사건)을 고려한 공공 경보 시스템에서 특히 중요한 다중범주 예측 평가를 위한 의사결정 이론적으로 일관된 방법을 제공하기 위해.
• 예측자가 고위험 기준 간의 정확한 분류 능력을 기반으로 보상받을 수 있도록, 범주별 가중치를 사용한 스코어링 함수를 제공하기 위해.
• 가까운 실수나 가까운 가짜 경보에 대한 벌점에 대해 거리 기반 할인을 통합하여 실제 세계에서의 예측 정밀도 수용 수준과 예측 결정에의 일치를 향상시키기 위해.

제안 방법

• 위험 수준 α에 따라 매개변수화된 일관성 있는 스코어링 함수의 가족을 제안하며, 예측이 예측 분포의 α-분위수를 포함하는지 여부에 따라 평가된다.
• 예측-관측 쌍에 대해 벌점을 할당하는 스코어링 행렬을 사용하며, 이는 분위수 및 기대값에 대한 기본 스코어링 함수에서 유도된다.
• 고위험 기준에서 정확한 분류를 보상하기 위해 사용자가 지정한 가중치(wi)를 통합한다.
• 관측값이 예측 범주로부터 거리 'a' 이내에 있을 경우 벌점을 감소시키는 할인 매개변수 'a'를 도입하여 허버 분위수 또는 기대값을 모델링한다.
• 비용-손실 모델을 사용한 의사결정 이론에서 유도하여, 스코어 최적화가 고정된 위험 측정 기준 하에서 최적의 사용자 행동과 일치하도록 보장한다.
• 실제 강우 예측 경보 데이터에 프레임워크를 적용하여, 경험적 校정 및 신호 탐지 이론을 통한 매개변수 추정을 시연한다.

실험 결과

연구 질문

• RQ1 기존의 기저 빈도나 표본 빈도에 따라 변동하는 대신, 모든 예측 범주에서 고정된 위험 기준(1−α)과 일관성을 유지하는 스코어링 함수를 구성할 수 있는가?
• RQ2 스코어링 함수의 범주별 가중치를 통해 예측자가 고위험 기준 간의 정확한 분류 능력을 어떻게 유도할 수 있는가?
• RQ3 근접한 실수나 가까운 가짜 경보에 대한 벌점 할인은 실제 사용자 수용 수준과 의사결정 과정과의 일치도를 어느 정도 향상시키는가?
• RQ4 기존 경보 시스템에서 명시적으로 정의되지 않은 경우, 역사적 연간표 또는 예측-관측 데이터로부터 위험 매개변수 α를 어떻게 추정할 수 있는가?
• RQ5 다단계 경보 시스템에서 리드 타임에 따라 위험 매개변수 α를 조정하면 예측 시스템 성능이 향상되는가? 그리고 최적의 임계값은 어떻게 선택해야 하는가?

주요 결과

• FIRM 스코어링 프레임워크는 스코어 최적화가 1−α를 초과할 경우 경보를 발령하는 고정된 위험 지침과 일치하는 예측 행동을 이끌어내도록 보장한다.
• 정확하게 校정된 예측 시스템에서는 오진 수와 가짜 경보 수의 비율이 성능을 신뢰할 만한 지표가 아니며, α가 기저 빈도와 일치하지 않을 경우 오해의 소지가 있다.
• 신호 탐지 이론 기반 추정량 ˜α는 기저 빈도가 낮고, 정확도가 떨어지는 시스템에서 경험적 추정량 ˆα보다 더 신뢰할 수 있는 α 추정을 제공한다.
• α가 임계값에 따라 변할 경우(예: α1=0.1, α2=0.9), 예측자는 중간 범주(C1)를 건너뛰는 행동을 유도받을 수 있으며, 이는 직관적인 예측 논리에 어긋나는 비최적의 행동을 초래한다.
• 다단계 리드 타임 경보 시스템에서는 표준 시간 기준 임계값(α)보다 높은 초기 경보 기준(β)이 최적일 수 있으며, NSW 강우 데이터셋에서 OCF의 경우 β=0.65, Official의 경우 β=0.60로 나타나, 경보 철회 비용이 높기 때문이다.
• 프레임워크의 유연성 덕분에 α>0일 경우 예측 카테고리 근처의 관측치에 대해 벌점 할인을 통해 경보 피로와 가짜 경보에 대한 민감도를 줄일 수 있으며, 특히 효과적이다.