[논문 리뷰] Multivariate Forecasting Evaluation: On Sensitive and Strictly Proper Scoring Rules

Florian Ziel, Kevin Berk|arXiv (Cornell University)|2019. 10. 16.

Forecasting Techniques and Applications인용 수 13

한 줄 요약

이 논문은 에너지 점수와 같은 널리 사용되는 점수의 한계를 보완하면서 종속 구조 오류에 더 민감한 다변량 확률 예측을 위한 새로운 코풀라 기반 점수 규칙을 제안한다. 시뮬레이션과 실제 데이터를 통한 실험을 통해 제안된 코풀라 점수는 종속성이 올바른지 잘못된지의 여부를 강력하게 구분할 수 있으며, 종속성에 대한 분별력에 대한 이전의 의심에도 불구하고 에너지 점수 역시 효과적으로 기능하는 것으로 나타났다.

ABSTRACT

In recent years, probabilistic forecasting is an emerging topic, which is why there is a growing need of suitable methods for the evaluation of multivariate predictions. We analyze the sensitivity of the most common scoring rules, especially regarding quality of the forecasted dependency structures. Additionally, we propose scoring rules based on the copula, which uniquely describes the dependency structure for every probability distribution with continuous marginal distributions. Efficient estimation of the considered scoring rules and evaluation methods such as the Diebold-Mariano test are discussed. In detailed simulation studies, we compare the performance of the renowned scoring rules and the ones we propose. Besides extended synthetic studies based on recently published results we also consider a real data example. We find that the energy score, which is probably the most widely used multivariate scoring rule, performs comparably well in detecting forecast errors, also regarding dependencies. This contradicts other studies. The results also show that a proposed copula score provides very strong distinction between models with correct and incorrect dependency structure. We close with a comprehensive discussion on the proposed methodology.

연구 동기 및 목표

• 다변량 확률 예측에 대한 효과적인 평가 방법, 특히 종속 구조 평가 측면에서의 부족함을 보완하기 위해.
• 이전 연구에서 제기된 에너지 점수의 종속 구조 차이 탐지 능력에 대한 일반적인 의심을 도전하기 위해.
• 코풀라 이론을 활용하여 종속 구조 오류에 민감한 엄격히 적절한 점수 규칙을 개발하기 위해.
• 모수적이고 비모수적 평가를 통합하는 영역에서의 종합적인 다변량 예측 평가를 위한 민감한 프레임워크를 제공하기 위해.
• 합성 데이터, 실제 데이터(항공 승객 수), 통계적 검정(디볼드-마리아노 검정)을 활용하여 제안된 방법론을 검증하기 위해.

제안 방법

• 스클라의 정리를 활용하여 다변량 분포를 근사 분포와 코풀라로 분해함으로써 종속 구조를 유일하게 기술한다.
• 코풀라 기반의 새로운 엄격히 적절한 점수 규칙인 '코풀라 점수'를 제안하여 종속 구조 정확도를 평가한다.
• 에너지 점수, 로그 점수 등의 근사 분포 점수 규칙과 코풀라 점수를 조합하여 전체 다변량 평가를 위한 연합된 엄격히 적절한 점수 규칙을 구성한다.
• 실용적 적용 가능성을 확보하기 위해, 실증적 우도 및 시뮬레이션 기반 방법을 포함한 효율적인 점수 규칙 추정 기법을 활용한다.
• 다양한 모델 간 점수 규칙 성능을 통계적으로 비교하기 위해 디볼드-마리아노 검정을 적용한다.
• 예를 들어 정규분포, t-코풀라와 같은 알려진 종속 구조를 가진 시뮬레이션 연구와 실제 데이터(항공 승객 수)를 활용하여 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이전 연구에서 주장한 바와 같이 에너지 점수가 종속 구조의 차이에 대해 민감도가 떨어진다는 주장은 사실인가?
• RQ2 엄격히 적절하고 종속 구조 오류에 매우 민감한 코풀라 기반 점수 규칙을 구성할 수 있는가?
• RQ3 제안된 근사-코풀라 점수 규칙은 기존의 다변량 점수 규칙(예: 에너지 점수, 변동도 점수)과 비교해 볼 때 예측 오류 탐지 능력에서 어떻게 다른가?
• RQ4 실제 데이터에서 종속 구조가 올바른지 잘못된지의 여부를 식별하는 데 코풀라 점수의 경험적 성능는 어떠한가?
• RQ5 모델의 잘못된 특정화나 실제 예측 상황에서 제안된 점수 규칙은 얼마나 강인한가?

주요 결과

• 에너지 점수도 종속 구조 오류 탐지에 있어 이전의 주장과는 달리 비교적 잘 기능함을 확인함으로써, 종속성에 대한 민감도가 낮다는 주장에 반박함.
• 제안된 코풀라 점수는 종속 구조가 정확한지 잘못된지의 여부를 매우 뛰어나게 식별할 수 있으며, 특히 잘못된 상관계수를 탐지하는 데 뛰어난 성능을 보임.
• 시뮬레이션 연구에서 코풀라 점수는 비정규분포 및 무거운 尾部 분포 설정에서 종속 구조 오류를 식별하는 데 에너지 점수를 지속적으로 능가함.
• 디볼드-마리아노 검정 결과, 중간 크기의 표본에서도 잘못된 코풀라를 가진 모델 평가 시 코풀라 점수가 유의미하게 뛰어난 성능을 보임.
• 근사 분포와 코풀라 점수의 조합은 근사 분포 오류와 종속 오류 양쪽 모두에 민감한 엄격히 적절한 점수 규칙을 제공하며, 종합적인 예측 평가를 향상시킴.
• 항공 승객 수 데이터를 활용한 실제 데이터 예시를 통해 코풀라 점수의 방법론적 우수성이 실질적인 다변량 예측 환경에서 확인됨.