[논문 리뷰] Can Machine Learning Catch Economic Recessions Using Economic and Market Sentiments?

Kian Tehranian|arXiv (Cornell University)|2023. 08. 28.

Stock Market Forecasting Methods인용 수 4

한 줄 요약

이 논문은 1986년에서 2022년까지의 75개의 경제 및 시장 심리 지표를 사용하여 미국의 경제 침체를 예측하기 위한 기계학습 모델을 평가한다. ARIMA 보간법, Boruta 특성 선택, 교차 검증 모델(Gradient Boosting 및 신경망 포함)을 적용하여, 앙상블 방법이 높은 정확도와 F1 스코어를 달성함을 보여주며, 특히 Gradient Boosting가 전통적인 모델(로지스틱 회귀, 프로비트)을 능가함을 확인한다.

ABSTRACT

Quantitative models are an important decision-making factor for policy makers and investors. Predicting an economic recession with high accuracy and reliability would be very beneficial for the society. This paper assesses machine learning technics to predict economic recessions in United States using market sentiment and economic indicators (seventy-five explanatory variables) from Jan 1986 - June 2022 on a monthly basis frequency. In order to solve the issue of missing time-series data points, Autoregressive Integrated Moving Average (ARIMA) method used to backcast explanatory variables. Analysis started with reduction in high dimensional dataset to only most important characters using Boruta algorithm, correlation matrix and solving multicollinearity issue. Afterwards, built various cross-validated models, both probability regression methods and machine learning technics, to predict recession binary outcome. The methods considered are Probit, Logit, Elastic Net, Random Forest, Gradient Boosting, and Neural Network. Lastly, discussed different models performance based on confusion matrix, accuracy and F1 score with potential reasons for their weakness and robustness.

연구 동기 및 목표

• 경제 및 시장 심리 지표를 활용한 기계학습 모델을 개발하고 평가하여 미국의 경제 침체를 예측하는 것을 목적으로 한다.
• 고차원 경제 데이터셋에서 시간순서 데이터의 결손을 ARIMA 후측방 예측 기법을 통해 해결한다.
• Boruta 알고리즘과 상관관계 분석을 통해 차원 축소 및 다중공선성 문제를 완화한다.
• 기존 통계 모델(Logit, Probit)과 고급 기계학습 기법(Random Forest, Gradient Boosting, 신경망) 간의 경기 침체 예측 성능을 비교한다.
• 혼동 행렬, 정확도, F1 스코어를 활용하여 다수의 교차 검증 모델을 대상으로 모델의 견고성과 예측 능력을 평가한다.

제안 방법

• 1986년 1월에서 2022년 6월까지의 75개의 경제 및 심리 지표에서 결손된 값을 ARIMA 모델링을 통해 후측방 예측하였다.
• Boruta 알고리즘을 활용해 가장 관련성이 높은 설명 변수만을 선별하고 유지하여 데이터셋의 차원을 축소하였다.
• 상관관계 행렬 분석을 실시하고 다중공선성을 완화하여 모델의 안정성과 해석 가능성을 향상시켰다.
• 이진 경기 침체 예측을 위한 다수의 모델(Probit, Logit, 엘라스틱넷, 랜덤 포레스트, Gradient Boosting, 신경망)을 훈련하고 교차 검증하였다.
• 혼동 행렬, 정확도, F1 스코어를 활용하여 예측 능력과 견고성을 비교 평가하였다.
• 시간적 일관성과 예측 변수의 관련성을 확보하기 위해 월간 빈도의 시계열 프레임워크를 도입하였다.

실험 결과

연구 질문

• RQ1 경제 지표와 시장 심리 지표의 조합을 사용하여 기계학습 모델이 미국의 경제 침체를 효과적으로 예측할 수 있는가?
• RQ2 Gradient Boosting 및 랜덤 포레스트와 같은 앙상블 방법은 전통적인 모델(Logit, Probit)에 비해 경기 침체 예측 정확도에서 어떻게 비교되는가?
• RQ3 Boruta를 통한 특성 선택과 다중공선성 감소가 모델 성능 향상에 얼마나 기여하는가?
• RQ4 ARIMA 보간법이 기계학습 모델링을 위한 경제 시계열 데이터에서의 결손치 처리에 미치는 영향은 무엇인가?
• RQ5 어느 모델이 경기 침체 사건 탐지에서 가장 높은 F1 스코어와 종합적인 견고성을 확보하는가?

주요 결과

• Gradient Boosting는 평가된 모든 모델 중에서 가장 높은 F1 스코어를 기록하여 정밀도와 재현율의 균형이 뛰어나 경기 침체 탐지에 뛰어난 성능을 보였다.
• Boruta 알고리즘이 유의미한 특성을 성공적으로 식별하고 유지하여 데이터셋을 더 다룰 수 있고 관련성이 높은 하위집합으로 축소시켰다.
• ARIMA 보간법이 시계열 데이터의 결손치를 효과적으로 보완하여 1986–2022년 기간 전체에 걸쳐 일관된 모델 훈련을 가능케 하였다.
• 신경망과 랜덤 포레스트 모델은 뛰어난 성능를 보였지만, F1 스코어와 안정성 측면에서 Gradient Boosting에 뒤지지 않았다.
• 로지스틱 회귀와 프로비트와 같은 전통적 모델은 앙상블 방법에 비해 F1 스코어와 정확도가 낮게 나타나 비선형 관계를 포착하는 데 한계를 보였다.
• 최종 모델 선정 과정에서 특성 선택과 다중공선성 처리가 모델의 견고성과 예측 정확도 향상에 중대한 기여를 했다.