[논문 리뷰] Predicting Economic Recessions Using Machine Learning Algorithms

Rickard Nyman, Paul Ormerod|arXiv (Cornell University)|2017. 01. 03.

Monetary Policy and Economic Impact참고 문헌 3인용 수 23

한 줄 요약

이 논문은 예측 시점에 가용한 실시간 금융시장 지표를 기반으로 랜덤 포레스트 기계학습 알고리즘을 사용해 미국과 영국의 경제 침체를 예측하는 것을 제안한다. 연구는 2008–2009년 경기침체를 최대 6个 분기 전에 통계적으로 유의미한 상관관계로 예측할 수 있음을 입증하며, 장기 예측에서 전통적인 설문 기반 예측보다 뛰어난 성능을 보였다.

ABSTRACT

Even at the beginning of 2008, the economic recession of 2008/09 was not being predicted. The failure to predict recessions is a persistent theme in economic forecasting. The Survey of Professional Forecasters (SPF) provides data on predictions made for the growth of total output, GDP, in the United States for one, two, three and four quarters ahead since the end of the 1960s. Over a three quarters ahead horizon, the mean prediction made for GDP growth has never been negative over this period. The correlation between the mean SPF three quarters ahead forecast and the data is very low, and over the most recent 25 years is not significantly different from zero. Here, we show that the machine learning technique of random forests has the potential to give early warning of recessions. We use a small set of explanatory variables from financial markets which would have been available to a forecaster at the time of making the forecast. We train the algorithm over the 1970Q2-1990Q1 period, and make predictions one, three and six quarters ahead. We then re-train over 1970Q2-1990Q2 and make a further set of predictions, and so on. We did not attempt any optimisation of predictions, using only the default input parameters to the algorithm we downloaded in the package R. We compare the predictions made from 1990 to the present with the actual data. One quarter ahead, the algorithm is not able to improve on the SPF predictions. Three and six quarters ahead, the correlations between actual and predicted are low, but they are very significantly different from zero. Although the timing is slightly wrong, a serious downturn in the first half of 2009 could have been predicted six quarters ahead in late 2007. The algorithm never predicts a recession when one did not occur. We obtain even stronger results with random forest machine learning techniques in the case of the United Kingdom.

연구 동기 및 목표

• 2008–2009년 글로벌 위기와 같은 주요 침체를 예측하지 못하는 전통적 경제 예측의 지속적인 실패를 해결하기 위해.
• 기계학습, 특히 랜덤 포레스트가 실시간으로 가용한 금융 지표만을 사용해 경기 하강의 조기 경고 신호를 향상시킬 수 있는지 평가하기 위해.
• 장기 예측 수준(3개 및 6개 분기 전)에서 기계학습 예측 성능을 설문조사 전문가 예측(Survey of Professional Forecasters, SPF)과 비교하기 위해.
• 1970년에서 2017년까지 순차적으로 이동하는 시간 창을 기반으로 반복적으로 재학습함으로써 모델의 강건성과 신뢰성을 평가하기 위해.
• 실제로 침체가 발생하지 않았을 경우에도 항상 침체를 예측하지 않도록 함으로써 가짜 신호(false positives)를 피할 수 있는지 확인하기 위해.

제안 방법

• 연구는 각 예측 시점에 가용한 소수의 금융시장 변수를 기반으로 훈련된 랜덤 포레스트 분류기를 사용한다.
• 훈련은 이동 윈도우 방식으로 수행되며, 1970년 2분기에서 1990년 1분기까지 시작하여, 이후 1990년 2분기, 3분기로 점진적으로 연장되며, 2017년까지 이어진다.
• 모델은 1개, 3개, 6개 분기 전 예측을 수행하며, R 패키지의 기본 초모수를 그대로 사용하고 조정 없이 적용한다.
• 예측 결과는 동일 기간의 실제 GDP 성장률 데이터 및 SPF의 평균 예측과 비교된다.
• 예측된 침체와 실제 침체 간 상관관계의 통계적 유의성을 가설 검정을 통해 평가한다.
• 미국과 영국 각각에 대해 별도로 예측 정확도와 시기 적절성에 중점을 두고 성능을 평가한다.

실험 결과

연구 질문

• RQ1 실시간 금융 지표를 기반으로 훈련된 랜덤 포레스트 모델은 전통적인 예측 방법보다 주요 경제 침체를 더 이르게 예측할 수 있는가?
• RQ2 3개 및 6개 분기 전 예측 수준에서 기계학습 모델의 예측 정확도는 설문조사 전문가 예측(SPF)과 비교해 어떻게 다른가?
• RQ3 실제로 침체가 발생하지 않았을 경우에도 항상 침체를 예측하지 않도록 함으로써 모델은 가짜 신호를 안정적으로 피할 수 있는가?
• RQ4 모델은 2008–2009년 글로벌 경기침체를 어느 정도의 수준으로 사전에 예측할 수 있으며, 얼마나 이르게 가능한가?
• RQ5 모델은 이동 시간 창을 기반으로 반복적으로 재학습할 경우에도 예측 성능이 유의미하고 안정적인가?

주요 결과

• 랜덤 포레스트 모델은 2008–2009년 미국의 경기침체를 6개 분기 전에 예측했으며, 예측 결과와 실제 결과 간 통계적으로 유의미한 상관관계를 보였다.
• 3개 및 6개 분기 전 예측에서 모델 예측과 실제 GDP 성장률 간 상관관계는 절대값이 낮음에도 불구하고 매우 유의미하게 0과 다름을 보였다.
• 모델은 어떤 경우에도 가짜 긍정 신호를 내보내지 않았으며, 실제로 침체가 발생하지 않았을 경우 이를 정확히 식별했다.
• 일부 분기 전 예측에서는 SPF보다 성능이 떨어지지 않았지만, 장기 예측 수준에서는 SPF 예측을 뛰어넘는 성능을 보였다.
• 영국의 경우 모델의 예측 능력이 더욱 뛰어나, 다국가 적용 가능성에 대한 잠재력을 보였다.
• 결과적으로 기계학습 기법 중 하나인 랜덤 포레스트가 실시간으로 관측 가능한 금융 데이터만을 사용해 경기침체의 조기 경고 신호를 제공할 수 있음을 입증했다.