[논문 리뷰] Use of the likelihood for measuring the skill of probabilistic forecasts

Stephen Jewson|ArXiv.org|2003. 08. 12.

Meteorological Phenomena and Simulations참고 문헌 6인용 수 10

한 줄 요약

이 논문은 기상 변수, 예측 리드 타임, 위치 전반에 걸쳐 확률 예측 성능을 평가하기 위한 통합적이고 수학적으로 최적의 프레임워크로 가능도를 제안한다. 가능도 기반 점수는 예측 오차가 자기상관이 있는 경우, 특히 동일한 통계적 원리에 기반한 고정된 이론적 프레임워크 내에서 일관된 校정과 평가를 제공함으로써 기존의 RMSE 및 무지 점수와 같은 전통적 지표보다 일반화되고 뛰어나게 성능을 발휘함을 보여준다.

ABSTRACT

We define the likelihood and give a number of justifications for its use as a skill measure for probabilistic forecasts. We describe a number of different scores based on the likelihood, and briefly investigate the relationships between the likelihood, the mean square error and the ignorance.

연구 동기 및 목표

• 모든 기상 변수와 예측 설정에 적용 가능한 단일한 일관된 확률 예측 성능 측정 기준을 개발하기 위해.
• 기존 지표인 RMSE 및 브리어 점수의 한계를 극복하기 위해 고전적 추정 이론에 기반한 통계적으로 최적의 대안을 제공하기 위해.
• 예측 校정과 평가를 단일한 가능도 기반 프레임워크에 통합하여 모델링과 검증 전반에서 일관성을 확보하기 위해.
• 가능도와 무지 점수, RMSE와 같은 기존의 확립된 점수 간의 관계를 분석하고, 특히 자기상관된 오차 상황에서의 성능을 조사하기 위해.
• 단일한 통합 점수로 다변수, 다지점, 다리드 예측 평가를 일관되게 수행할 수 있도록 하기 위해.

제안 방법

• 필드러(1912)의 표준 통계 정의를 사용하여 가능도를 관측된 자료가 예측 분포에 의해 주어졌을 때의 확률로 정의한다.
• 해석 가능한 척도 압축 점수를 만들기 위해 로그 가능도(LL)와 그 음수(MLL)를 사용하며, MLL가 낮을수록 더 우수한 예측을 의미한다.
• 다변량 정규분포의 가능도를 유도하여 예측 오차 공분산 행렬 Σ를 포함시켜 시간적 및 다변량 상관관계를 반영한다.
• 일관된 방식으로 가능도 프레임워크를 校정(가능도 최대화를 통한 모수 추정)과 평가(성능 점수 산정)에 모두 적용한다.
• 독립적 동일분포 정규 오차 상황에서 가능도와 RMSE 순위가 동일함을 보여주며, 가능도가 자기상관된 오차 구조로의 RMSE 일반화임을 입증한다.
• 오르스턴 및 스미스(Roulston & Smith, 2002)의 무지 점수를 오차가 상관이 없고, 하나의 변수/지점/리드 타임만 고려할 경우의 특수한 경우로 가능도와 연결한다.

실험 결과

연구 질문

• RQ1 가능도는 변수, 리드 타임, 위치에 관계없이 모든 종류의 확률 예측에 대해 일반적이고 수학적으로 최적의 성능 측정 기준으로 기능할 수 있는가?
• RQ2 예측 오차가 자기상관이 있을 경우, 가능도 기반 프레임워크는 RMSE 및 무지 점수와 비교해 예측 순위를 어떻게 평가하는가?
• RQ3 교정 과정에서 예측 오차 공분산 행렬을 정확히 추정할 필요가 있는가, 아니면 오차가 상관이 없다는 단순 가정만으로도 순위에 심각한 왜곡 없이 충분한가?
• RQ4 가능도와 연속 순위 확률 점수 또는 브리어 점수와 같은 다른 기존의 점수 규칙 간의 관계는 어떠한가?
• RQ5 가능도를 교정(모수 피팅)과 평가(성능 점수 산정)에 일관되게 사용할 수 있는가, 이를 통해 통계 모델링 워크플로우의 일관성을 확보할 수 있는가?

주요 결과

• 가능도는 표준 정규 조건 하에서 가장 정확한 추정치를 제공하는 일관적이고 최적의 프레임워크를 제공하며, 확률 예측 평가에 적합하다.
• 특히 음수 로그 가능도(MLL)를 포함한 가능도 기반 점수는 예측 오차가 독립적 동일분포 정규분포일 경우 RMSE와 수학적으로 동일하며, 자기상관된 오차 구조로의 RMSE 일반화임을 보여준다.
• 오차가 상관이 없을 경우 무지 점수는 음수 로그 가능도와 동치이며, 가능도는 다변수, 다리드, 상관된 오차 상황으로의 무지 점수 일반화로 간주할 수 있다.
• 가능도 프레임워크는 다차원 예측(다양한 변수, 지점, 리드 타임)을 단일 점수로 자연스럽게 처리할 수 있으며, 이 구성 요소들이 상관관계가 있어도 문제없이 작동한다.
• 교정과 평가에 모두 가능도를 사용함으로써 모델링 워크플로우 전반에서 일관성을 확보할 수 있으며, 보다 넓은 모델링 작업에서 표준 통계 기법과도 부합된다.
• 실제로 예측 오차 공분산 행렬을 근사하는 것(예: 오차가 상관이 없다는 가정)이 예측 순위에 심각한 왜곡을 초래하지 않을 수 있으나, 이는 향후 추가 연구가 필요하다.