[논문 리뷰] Evaluating Point Forecasts

Tilmann Gneiting|arXiv (Cornell University)|2009. 12. 04.

Forecasting Techniques and Applications인용 수 4

한 줄 요약

이 논문은 일반적인 점 예측 평가 방법이 스코링 함수가 예측 과제와 적절히 일치하지 않으면 오해의 소지가 있는 결과를 낼 수 있음을 보여준다. 일致성과 탐지 가능성의 개념을 도입하여, 스코링 함수가 사전에 정의되어 있거나, 평균이나 분위수와 같은 통계 기능에 대해 일치하는 경우 최적의 예측은 베이즈 규칙이 된다고 밝힌다.

ABSTRACT

Typically, point forecasting methods are compared and assessed by means of an error measure or scoring function, such as the absolute error or the squared error. The individual scores are then averaged over forecast cases, to result in a summary measure of the predictive performance, such as the mean absolute error or the (root) mean squared error. I demonstrate that this common practice can lead to grossly misguided inferences, unless the scoring function and the forecasting task are carefully matched. Effective point forecasting requires that the scoring function be specified ex ante, or that the forecaster receives a directive in the form of a statistical functional, such as the mean or a quantile of the predictive distribution. If the scoring function is specified ex ante, the forecaster can issue the optimal point forecast, namely, the Bayes rule. If the forecaster receives a directive in the form of a functional, it is critical that the scoring function be consistent for it, in the sense that the expected score is minimized when following the directive. A functional is elicitable if there exists a scoring function that is strictly consistent for it. Expectations, ratios of expectations and quantiles are elicitable. For example, a scoring function is consistent for the mean functional if and only if it is a Bregman function. It is consistent for a quantile if and only if it is generalized piecewise linear. Similar characterizations apply to ratios of expectations and to expectiles. Weighted scoring functions are consistent for functionals that adapt to the weighting in peculiar ways. Not all functionals are elicitable; for instance, conditional value-at-risk is not, despite its popularity in quantitative finance.

연구 동기 및 목표

• 평균 제곱 오차와 같은 임의의 스코링 함수를 사용한 표준 점 예측 평가의 결함을 규명하는 것.
• 예측 정확도가 스코링 함수를 예측 과제 또는 통계 기능에 정확히 매칭하는 데에 크게 의존한다는 것을 입증하는 것.
• 주어진 기능(예: 평균 또는 분위수)에 대해 스코링 함수가 일치하는 조건을 체계화하는 것.
• 엄격히 일치하는 스코링 함수가 존재하는 기능(탐지 가능한 기능)과 그렇지 않은 기능(예: 조건부 VaR)을 명확히 하는 것.
• 실제 응용에서 적절한 스코링 함수를 선택하기 위한 이론적 기반을 제공하여 최적이고 신뢰할 수 있는 예측을 보장하는 것.

제안 방법

• 예측 기능이 스코링 함수의 기대 스코어를 최소화할 때 해당 스코링 함수가 기능에 대해 일치한다고 정의하는 것.
• 일치하는 스코링 함수의 특성화: 평균에 대해서는 브레그만 함수, 분위수에 대해서는 일반화된 조각별 선형 함수.
• 탐지 가능한 기능의 개념 도입: 엄격히 일치하는 스코링 함수가 존재하는 기능.
• 가중치 스코링 함수와 그 기능에 대한 행동 분석: 가중치 구조에 적응하는 기능과의 관계.
• 수학적 특성화를 통해 모든 기능이 탐지 가능하지 않음을 보여주는 것(예: 조건부 VaR).
• 스코링 함수가 사전에 정의된 경우 최적의 점 예측은 베이즈 규칙이 되며, 이는 기대 손실을 최소화함을 보장하는 것.

실험 결과

연구 질문

• RQ1 왜 평균 제곱 오차와 같은 일반적인 스코링 함수를 사용한 표준 예측 평가는 오해의 소지가 있는 추론을 낳을 수 있는가?
• RQ2 주어진 통계 기능(예: 평균 또는 분위수)에 대해 스코링 함수가 일치하기 위해 만족해야 할 조건은 무엇인가?
• RQ3 어떤 통계 기능이 탐지 가능하며, 그 일치하는 스코링 함수의 특성은 무엇인가?
• RQ4 왜 금융 분야에서 널리 사용되지만 조건부 VaR은 탐지 가능하지 않은가?
• RQ5 가중치 스코링 함수는 기능과 어떻게 상호작용하며, 이는 예측 최적화에 어떤 영향을 미치는가?

주요 결과

• 신뢰할 수 있는 평가와 최적의 점 예측을 보장하기 위해 스코링 함수는 예측 대상 기능과 일치해야 한다.
• 평균 기능은 탐지 가능하며, 일치하는 스코링 함수는 브레그만 함수로 특성화된다.
• 분위수는 탐지 가능하며, 일치하는 스코링 함수는 일반화된 조각별 선형 함수이다.
• 기대값의 비율과 기대값 기반 기능(예: 기대값 기반 기능) 역시 탐지 가능하며, 이에 해당하는 일치하는 스코링 함수의 특성화가 존재한다.
• 조건부 VaR은 탐지 가능하지 않으며, 이는 어떤 스코링 함수도 일관되게 그 기능을 탐지할 수 없음을 의미하므로, 예측 평가에서의 사용이 흔들린다.
• 스코링 함수가 사전에 정의된 경우 최적의 점 예측은 베이즈 규칙이 되며, 이는 기대 손실을 최소화함을 보장한다.