[논문 리뷰] Can Two Forecasts Have the Same Conditional Expected Accuracy?

Yinchu Zhu, Allan Timmermann|arXiv (Cornell University)|2020. 06. 05.

Monetary Policy and Economic Impact참고 문헌 13인용 수 11

한 줄 요약

이 논문은 예측 정확도 동일성에 대한 Giacomini-White (GW) 검정이 일반적인 조건 하에서 실패함을 보여준다. 이는 손실 차이가 마틴갈레 차분 수열(MDS)이 되어야 하는 귀무가설이 예측치의 추정된 매개변수나 일반적인 확률적 과정 하에서는 성립하지 않기 때문이다. 저자들은 손실 차이의 자기상관이 GW 검정의 크기 왜곡을 야기함을 보이며, 순차적 상관에 의한 크기 왜곡을 피하는 자가정규화를 사용한 타당한 서브샘플링 t-검정을 제안하여 무조건적 기대 손실의 동일성을 검정한다.

ABSTRACT

The approach for testing equal predictive accuracy for pairs of forecasting models proposed by Giacomini and White (2006) assumes that the parameters of the underlying forecasting models are estimated using a rolling window of fixed width and incorporates the effect of parameter estimation in the null hypothesis. We show that a necessary and sufficient condition for the conditionally expected loss differential of two forecasting models to be a martingale difference sequence is that the outcome is a simple average of the two forecasts. When the forecasts contain parameter estimation errors, this means that the conditional mean of the outcome has to be a function of past estimation errors--a condition that fails in many situations. We also show that the null can fail even in the absence of parameter estimation for many types of stochastic processes in common use.

연구 동기 및 목표

• 실제 예측 조건 하에서 Giacomini-White (GW) 검정의 유효성을 조사하기.
• 특히 매개변수 추정 오류로 인해 조건부 기대 예측 정확도 동일성의 귀무가설이 실패하는 경우를 규명하기.
• GW가 요구하는 마틴갈레 차분 수열(MDS) 조건이 일반적인 데이터 생성 과정(DGP)에서 성립하는지 검토하기.
• 순차적 상관에 기인한 크기 왜곡을 피하는 무조건적 기대 손실 동일성에 대한 강력한 대체 검정법 제안하기.
• 예측 정확도 검정에서 조건부와 무조건적 귀무가설 간의 차이를 명확히 하기.

제안 방법

• 두 예측치 간 기대 손실 차이가 마틴갈레 차분 수열(MDS)이 되는 조건을 유도하며, 이는 결과가 두 예측치의 단순 평균이어야 함을 보여준다.
• 롤링 윈도우 예측 모델에서의 매개변수 추정 영향을 분석하여, 추정 오류가 MDS 조건을 위반함을 입증한다.
• 점근 이론과 함수 중심극한정리로 다양한 DGP 하에서 손실 차이의 점근 분포를 도출한다.
• 강건한 표준오차를 구성하지 않아도 되는 자가정규화를 사용한 서브샘플링 t-검정을 제안하여 순차적 상관 하에서도 타당한 추론을 보장한다.
• Cramér-Wold 장치와 약한 수렴을 사용하여 귀무가설 하에서 검정 통계량의 점근 분포를 확립한다.
• 강력한 근사 정리로 수렴 결과를 강화하여, 손실 차이에 대해 브라운 운동 근사가 가능하게 한다.

실험 결과

연구 질문

• RQ1 GW 귀무가설—기대 손실 차이가 마틴갈레 차분 수열(MDS)이 되어야 한다—가 성립하지 않는 조건은 무엇인가?
• RQ2 롤링 윈도우 예측 모델에서의 매개변수 추정 오류는 GW 검정의 유효성에 어떤 영향을 미치는가?
• RQ3 기본적인 확률적 과정인 ARMA나 랜덤 워크와 같은 표준 DGP에서 MDS 조건이 성립하는가?
• RQ4 매개변수 추정 없이도 손실 차이의 자기상관으로 인해 GW 검정이 심각한 크기 왜곡을 겪을 수 있는가?
• RQ5 GW 검정의 한계를 피하는 무조건적 기대 손실 동일성에 대한 타당한 대체 검정법이 존재하는가?

주요 결과

• 예측치가 추정된 매개변수에 기반할 경우 GW 귀무가설이 실패한다. 이는 조건부 평균이 과거 추정 오차에 의존하기 때문이며, MDS 조건을 위반한다.
• 매개변수 추정이 없더라도 많은 표준 DGP(예: ARMA 과정)에서는 제한적인 유한한 의존 조건이 만족되지 않는 한 MDS 조건이 성립하지 않는다.
• 실제 설정에서 손실 차이에 상당한 자기상관이 존재하여, 표준 장기 분산 추정기법을 사용할 경우 GW 검정에서 심각한 크기 왜곡이 발생한다.
• GW 검정 통계량의 점근 분산은 예측 윈도우 크기 $ m $ 에 따라 달라지며, 분산은 $ \frac{4m^{-1}-4cm^{-1}\kappa_{1}+m^{-2}(\kappa_{2}+3)}{8m^{-1}+m^{-3}(\kappa_{2}-1)} $ 로 수렴한다. 이 값은 $ m \to \infty $ 일 때 0이 되지 않으며, 비퇴화적이지만 잠재적으로 편향된 추론을 의미한다.
• 자기정규화를 사용한 제안된 서브샘플링 t-검정은 순차적 상관 하에서도 타당한 추론을 보장하며, 강건한 표준오차가 필요로 하지 않는다.
• 귀무가설 하에서 검정 통계량은 점근적으로 t-분포로 수렴하며, 함수 중심극한정리와 연속사상정리에 의해 유도된 점근 분포를 통해 유한 표본에서도 정확한 크기를 확보한다.