[논문 리뷰] Time series forecasting: model evaluation and selection using nonparametric risk bounds

Daniel J. McDonald, Cosma Rohilla Shalizi외 1명|arXiv (Cornell University)|2012. 12. 03.

Monetary Policy and Economic Impact참고 문헌 69인용 수 6

한 줄 요약

이 논문은 강한 분포 가정이나 점근적 이론에 의존하지 않고 시계열 예측 모델을 평가하고 선택할 수 있도록 비모수적 위험 경계를 도입한다. AR, MA 및 선형 상태공간 모델과 같은 모델에 대해 유한 표본, 고확률 오차 경계를 제공하여 불확실성 하에서 강건한 모델을 선택할 수 있도록 돕는다. 금융 및 거시경제학 분야의 GARCH 및 DSGE 모델에 적용 가능하다.

ABSTRACT

We derive generalization error bounds -- bounds on the expected inaccuracy of the predictions -- for traditional time series forecasting models. Our results hold for many standard forecasting tools including autoregressive models, moving average models, and, more generally, linear state-space models. These bounds allow forecasters to select among competing models and to guarantee that with high probability, their chosen model will perform well without making strong assumptions about the data generating process or appealing to asymptotic theory. We motivate our techniques with and apply them to standard economic and nancial forecasting tools -- a GARCH model for predicting equity volatility and a dynamic stochastic general equilibrium model (DSGE), the standard tool in macroeconomic forecasting. We demonstrate in particular how our techniques can aid forecasters and policy makers in choosing models which behave well under uncertainty and mis-specifi cation.

연구 동기 및 목표

• 데이터 생성 과정에 대한 강한 가정 없이도 유효한 일반화 오차 경계를 시계열 예측 모델에 제공하는 것.
• AR, MA 및 상태공간 모델과 같은 경쟁적 예측 도구들 사이에서 예측 부정확도를 정량화함으로써 모델 선택을 지원하는 것.
• 모델 잘못 지정이나 불확실성 하에서도 유효한, 유한 표본 및 고확률 프레임워크를 통한 모델 평가를 제공하는 것.
• 실제 예측 환경, 예를 들어 주식 변동성(GARCH)과 거시경제 정책(모형 DSGE)에서의 실용적 유용성을 입증하는 것.
• 점근적 근사에 의존하지 않고도 예측자가 불확실성 하에서도 안정적으로 작동하는 모델을 선택할 수 있도록 예측자와 정책 입안자들을 지원하는 것.

제안 방법

• 경험 위험 최소화 원리를 사용하여 비모수적 위험 경계를 유도함으로써 시계열 모델의 예측 오차 기대치를 정량화하는 것.
• 자기회귀(AR), 이동평균(MA), 선형 상태공간 모델을 포함한 표준 예측 모델에 이러한 경계를 적용하는 것.
• 집중 부등식과 경험 과정 이론을 사용하여, 비모수적 가정 없이 일반화 오차에 대한 고확률 경계를 수립하는 것.
• 모델 클래스의 복잡성과 관측된 데이터에 따라 의존하는 경계를 제안함으로써, 유한 표본 성능 보장을 가능하게 하는 것.
• 예측 오차가 낮은 모델을 불확실성 하에서 선택할 수 있도록 경계를 모델 선택 절차에 통합하는 것.
• 실제 예측 문제, 특히 주식 변동성에 대한 GARCH와 거시경제 예측에 대한 DSGE 모델에 프레임워크를 검증하는 것.

실험 결과

연구 질문

• RQ1 강한 분포 가정이나 점근적 이론에 의존하지 않고 시계열 예측 모델의 일반화 오차를 어떻게 경계할 수 있는가?
• RQ2 어떤 비모수적 기법이 AR, MA 및 상태공간 모델과 같은 표준 예측 모델에 대해 고확률 성능 보장을 제공할 수 있는가?
• RQ3 이러한 위험 경계는 모델 잘못 지정과 데이터 불확실성이 존재하는 상황에서 모델 선택을 어떻게 향상시키는가?
• RQ4 이 경계들은 금융 변동성 예측 및 거시경제 정책 분석과 같은 실용적 응용에서 예측의 신뢰성을 어떻게 향상시킬 수 있는가?
• RQ5 GARCH 및 DSGE와 같은 복잡한 모델에 대해 강한 비모수적 가정 없이도 이러한 경계를 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 비모수적 위험 경계는 AR, MA 및 선형 상태공간 모델을 포함한 광범위한 시계열 모델 클래스에 대해 유한 표본 및 고확률 예측 정확도 보장을 제공한다.
• 이 경계들은 진정한 데이터 생성 과정이 알려져 있지 않거나 잘못 지정된 경우에도 예측 성능이 우수할 것으로 기대되는 모델 선택을 가능하게 한다.
• 이 프레임워크는 점근적 근사에 의존하지 않아 제한된 데이터를 가진 실용적 예측 시나리오에 적합하다.
• 주식 변동성에 대한 GARCH 모델에 적용한 결과, 경계는 시장 불확실성 하에서도 안정적인 외부 표본 성능을 보이는 모델을 식별하는 데 도움이 되었다.
• DSGE 모델에 적용한 결과, 경계는 구조적 및 비모수적 불확실성 하에서도 강건한 예측 성능을 유지하는 거시경제 모델 선택을 지원했다.
• 결과적으로 이러한 경계에 따라 모델 선택을 할 경우 금융 및 거시경제적 맥락 모두에서 예측 신뢰도가 향상됨을 입증하였다.