[논문 리뷰] Benchmarking Econometric and Machine Learning Methodologies in Nowcasting

Daniel Hopp|arXiv (Cornell University)|2022. 01. 01.

Market Dynamics and Volatility인용 수 3

한 줄 요약

이 논문은 1980년대 경기침체, 2008년 금융위기, 코로나19 패닉 기간 동안 미국 분기별 GDP 성장률을 예측하기 위해 12종의 계량경제학 및 머신러닝 방법론을 평가한다. 1947년부터 FRED 데이터를 사용하여 예측 성능과 수정 안정성을 평가한 결과, 장기 단기 기억(LSTM) 네트워크와 베이지안 벡터 자기회귀(BVAR) 모델이 가장 우수한 전반적 성능을 보였으며, 특히 극단적 사건 기간 동안 정확도와 낮은 수정 변동성에서 뛰어난 성능을 발휘했다.

ABSTRACT

Nowcasting can play a key role in giving policymakers timelier insight to data published with a significant time lag, such as final GDP figures. Currently, there are a plethora of methodologies and approaches for practitioners to choose from. However, there lacks a comprehensive comparison of these disparate approaches in terms of predictive performance and characteristics. This paper addresses that deficiency by examining the performance of 12 different methodologies in nowcasting US quarterly GDP growth, including all the methods most commonly employed in nowcasting, as well as some of the most popular traditional machine learning approaches. Performance was assessed on three different tumultuous periods in US economic history: the early 1980s recession, the 2008 financial crisis, and the COVID crisis. The two best performing methodologies in the analysis were long short-term memory artificial neural networks (LSTM) and Bayesian vector autoregression (BVAR). To facilitate further application and testing of each of the examined methodologies, an open-source repository containing boilerplate code that can be applied to different datasets is published alongside the paper, available at: github.com/dhopp1/nowcasting_benchmark.

연구 동기 및 목표

• 미국 분기별 GDP 성장률 예측에서 12종의 주요 계량경제학 및 머신러닝 방법론을 종합적으로 비교 평가하는 것.
• 1980년대 초반 경기침체, 2008년 금융위기, 코로나19 패닉이라는 세 가지 고영향도 경제 하강기 동안 모델 성능을 평가하는 것.
• 변동성이 높은 조건에서 예측 오차와 수정 역학 측면에서 가장 정확하고 안정적인 방법론을 특정하는 것.
• 각 방법론에 대해 오픈소스로 재사용 가능한 코드를 공개하여 실무자들이 이를 채택하고 변형할 수 있도록 하는 것.

제안 방법

• 연구는 1947–2021년 기간 동안 FRED에서 확보한 126종의 월간 및 분기별 경제 지표로 구성된 벤치마크 데이터셋을 활용하여 미국 분기별 GDP 성장률을 실시간 예측한다.
• 12종의 방법론 각각이 역사적 데이터로 학습되고, 세 가지 다른 경제 제도에서의 외부 샘플 예측에 대해 테스트된다.
• 예측 성능 평가에는 평균 절대 오차(MAE), 제곱근 평균 제곱 오차(RMSE), 여러 데이터 버전 간의 수정 변동성 지표를 사용한다.
• 모델로는 전통적 계량경제학 기법(예: ARMA, OLS, 리지 회귀, MF-VAR, BVAR)과 머신러닝 기법(예: LSTM, MLP, 기울기 부스팅, 랜덤 포레스트, 결정 트리, DFM, MIDAS)이 포함된다.
• 주요 방법론적 혁신은 실제 실시간 예측 조건을 시뮬레이션하기 위해 인위적 지연을 도입한 것으로, 모델이 실무에서 어떻게 평가될지를 보장한다.
• 모든 방법론에 대해 표준화된 데이터 전처리, 모델 학습, 예측 파이프라인을 포함한 재현 가능한 Jupyter 노트북을 포함한 오픈소스 GitHub 저장소를 운영한다.

실험 결과

연구 질문

• RQ1 경제적 압박 상황에서 미국 분기별 GDP 성장률을 예측하는 데 있어 어떤 계량경제학 및 머신러닝 방법론이 가장 정확한가?
• RQ2 1980년대 초반 경기침체, 2008년 금융위기, 코로나19 패닉 기간 동안 예측 오차와 수정 안정성 측면에서 각 모델의 성능은 어떻게 다른가?
• RQ3 리지 회귀와 같은 정규화 기법이나 랜덤 포레스트, 기울기 부스팅과 같은 앙상블 기법은 기준 모델 대비 예측 성능을 얼마나 향상시키는가?
• RQ4 딥러닝 모델인 LSTM과 MLP는 전통적인 시계열 모델 대비 비선형 동적 변화와 극단적 경제 변화를 얼마나 잘 포착하는가?
• RQ5 특히 변동성이 높은 기간 동안 각 데이터 버전별 별도의 모델을 학습하는 것이 성능 향상에 기여하는가?

주요 결과

• 장기 단기 기억(LSTM) 네트워크가 전체적으로 가장 뛰어난 성능을 보였으며, 2008년 금융위기에서는 1위, 코로나19 위기에서는 2위를 기록했고, 가장 낮은 수정 변동성과 높은 정확도를 확보했다.
• 베이지안 벡터 자기회귀(BVAR) 모델은 전체적으로 2위를 기록했으며, 강력한 예측 정확도를 보였지만, 모든 모델 중에서 가장 높은 수정 민감도를 보였다.
• LSTM과 BVAR 모델은 그림 4에서 보듯이 통합 오차 및 안정성 지표 측면에서 다른 모든 모델을 압도적으로 앞섰다.
• 기울기 부스팅 트리와 랜덤 포레스트 모델는 훈련 분포 외부의 극단적 값을 예측하는 데 어려움을 겪었으며, 최종 두 데이터 버전을 제외하고는 항상 평균 예측으로 수렴했다.
• 다층 퍼셉트론(MLP) 모델은 1980년대 초반 경기침체 기간에 가장 열악한 성능(MAE 기준)을 보였지만, 후속 위기 기간에는 크게 향상되어 2008년 위기에서는 5위, 코로나 위기에서는 4위를 기록했다.
• 일반 선형 회귀(OLS) 모델은 전반적으로 낮은 성능을 보였으며, ARMA 및 결정 트리 모델보다도 평균적으로 열등했지만, 최종 테스트 기간(2020년)에는 강력한 성능을 보여, 그 단계에서 3위를 기록했다.