[논문 리뷰] The Murphy Decomposition and the Calibration-Resolution Principle: A New Perspective on Forecast Evaluation

Marc‐Oliver Pohle|arXiv (Cornell University)|2020. 05. 04.

Monetary Policy and Economic Impact인용 수 11

한 줄 요약

이 논문은 예측 손실을 잘못된 캘리브레이션(체계적 오차)과 해상도(정보 내용)로 분해함으로써 모든 예측 유형—점 예측, 구간 예측, 확률적 예측—을 통합 평가할 수 있는 캘리브레이션-해상도 원칙을 제안한다. 일반화된 머피 분해를 통해 정확한 예측은 해상도를 극대화하고 잘못된 캘리브레이션을 최소화함을 보이며, 이는 Gneiting 등(2007)의 날카움 원칙을 확률적 예측을 넘어서 모든 예측 유형으로 일반화한다. 또한 기존 평가 방법의 심각한 결함을 드러내고, 미국 전문가 예측 설문조사 및 영국 중앙은행의 팬 차트에서의 경제 예측에 실용적 유용성을 입증한다.

ABSTRACT

I provide a unifying perspective on forecast evaluation, characterizing accurate forecasts of all types, from simple point to complete probabilistic forecasts, in terms of two fundamental underlying properties, autocalibration and resolution, which can be interpreted as describing a lack of systematic mistakes and a high information content. This "calibration-resolution principle" gives a new insight into the nature of forecasting and generalizes the famous sharpness principle by Gneiting et al. (2007) from probabilistic to all types of forecasts. It amongst others exposes the shortcomings of several widely used forecast evaluation methods. The principle is based on a fully general version of the Murphy decomposition of loss functions, which I provide. Special cases of this decomposition are well-known and widely used in meteorology. Besides using the decomposition in this new theoretical way, after having introduced it and the underlying properties in a proper theoretical framework, accompanied by an illustrative example, I also employ it in its classical sense as a forecast evaluation method as the meteorologists do: As such, it unveils the driving forces behind forecast errors and complements classical forecast evaluation methods. I discuss estimation of the decomposition via kernel regression and then apply it to popular economic forecasts. Analysis of mean forecasts from the US Survey of Professional Forecasters and quantile forecasts derived from Bank of England fan charts indeed yield interesting new insights and highlight the potential of the method.

연구 동기 및 목표

• 예측의 종류에 관계없이 통합된 예측 평가를 가능하게 하기 위해 자동 캘리브레이션과 해상도라는 두 가지 핵심 성질을 규명함.
• 체계적 오차나 정보 내용을 평가하지 못하는 널리 쓰이는 예측 평가 방법의 한계를 해결함.
• Gneiting 등(2007)의 날카움 원칙을 자동 캘리브레이션된 확률적 예측을 넘어서 모든 예측 유형으로 일반화함.
• 머피 분해를 고전적 평가 도구를 넘어서 이론적 시각으로 활용하여 예측 품질에 대한 깊이 있는 통찰을 드러냄.
• 미국 전문가 예측 설문조사 및 영국 중앙은행의 팬 차트에서의 평균 예측과 분위수 예측을 포함한 실증 분석을 통해 이 방법의 실용적 가치를 입증함.

제안 방법

• 손실 함수의 완전히 일반화된 머피 분해를 제안하여 예측 오차를 잘못된 캘리브레이션과 해상도 성분으로 분해함.
• 체계적 오차가 없는 자동 캘리브레이션과 조건부 기대값 및 예측 분포 함수를 사용한 정보 내용으로서의 해상도를 정의함.
• 기존의 바인딩 방법에 비해 향상된 지역 선형(최소제곱 또는 분위수) 회귀를 포함한 커널 회귀를 활용해 분해에서의 조건부 기능을 추정함.
• 분해를 두 가지 방식으로 적용함: (1) 이론적으로 캘리브레이션-해상도 원칙 유도; (2) 실증적으로 진단적 예측 평가 방법으로 활용.
• 미국 SPF의 평균 예측과 영국 중앙은행 팬 차트의 분위수 예측을 분석하여 예측 수평과 분위수 수준에 따라 잘못된 캘리브레이션과 해상도를 평가함.
• 분해 항목에 대한 추론 프레임워크를 제안하고, 확률적 예측, 응답 예측, 설문 조사 예측 조합 등으로의 확장을 논의함.

실험 결과

연구 질문

• RQ1 예측의 종류에 관계없이 캘리브레이션과 해상도의 기본 성질을 활용해 점 예측, 구간 예측, 확률적 예측을 통합 평가할 수 있는 방법은 무엇인가?
• RQ2 널리 쓰이는 예측 평가 방법이 정보 내용이나 체계적 오차를 평가하지 못하는 정도는 어느 정도이며, 이들의 이론적 및 실용적 한계는 무엇인가?
• RQ3 캘리브레이션-해상도 원칙은 자동 캘리브레이션된 확률적 예측을 넘어서 날카움 원칙을 어떻게 일반화하는가?
• RQ4 실제 경제 예측—미국 전문가 예측 설문조사 및 영국 중앙은행의 팬 차트 예측—에 머피 분해를 적용했을 때 어떤 통찰을 얻을 수 있는가?
• RQ5 해상도 분석을 통해 드러나는 예측 가능성의 한계와 유의미한 정보 내용을 지닌 최대 예측 수평은 무엇인가?

주요 결과

• 미국 전문가 예측 설문조사에서 현재 분기의 인플레이션과 국내총생산 성장률 예측은 높은 해상도(정보 내용)를 보이며 거의 0에 가까운 잘못된 캘리브레이션을 보여, 체계적 오차가 거의 없는 강력한 성능을 나타냄.
• 더 긴 예측 수평에서는 평균 예측의 정보 내용이 거의 0에 수렴하여, SPF의 장기 예측은 현재 분기 이외의 예측 가치가 거의 없다는 것을 시사함.
• 영국 중앙은행의 확률적 예측은 장기 수평과 높은 분위수에서 잘못된 캘리브레이션 수준이 다양하게 나타나며, 인플레이션 예측은 국내총생산 성장률 예측보다 해상도와 기대 손실 측면에서 일관되게 뛰어남.
• 캘리브레이션-해상도 프레임워크는 분위수 수준과 예측 수평이 증가할수록 예측 품질이 떨어짐을 드러내며, 특히 국내총생산 성장률의 경우 장기 예측에서의 구조적 약점을 강조함.
• 머피 분해는 장기 수평 예측에서 잘못된 캘리브레이션을 주요 오류 원인으로 규명하며, 해상도가 시간이 지남에 따라 감소함을 보여, 예측자가 장기 수평에서 과신하거나 정보 부족일 수 있음을 시사함.
• 이 방법은 고전적 기준보다 뛰어난 성능을 보이며, 기존에는 도달할 수 없었던 예측 품질에 대한 통찰을 드러내어 표준 평가 기법의 보완 도구로서의 가치를 입증함.