[논문 리뷰] Machine Learning for Economics Research: When What and How?

Ajit Desai|arXiv (Cornell University)|2023. 03. 31.

Stock Market Forecasting MethodsDecision Sciences인용 수 3

한 줄 요약

이 논문은 경제학 분야에서 기계학습(ML) 응용에 대한 체계적인 리뷰를 제공하며, ML이 언제 사용되는지, 어떤 모델이 선호되는지, 그리고 어떻게 적용되는지를 다룹니다. ML은 비전통적 데이터 처리, 비선형성 포착, 예측 성능 향상에 뛰어나며, 특히 비정형 데이터에 대해 딥러닝이 효과적이고, 전통적 데이터셋에는 앙상블 방법이 효과적입니다. 이와 동시에 최적의 성능을 내기 위해 모델를 맞춤화하고 전이학습을 활용하는 것이 강조됩니다.

ABSTRACT

This article provides a curated review of selected papers published in prominent economics journals that use machine learning (ML) tools for research and policy analysis. The review focuses on three key questions: (1) when ML is used in economics, (2) what ML models are commonly preferred, and (3) how they are used for economic applications. The review highlights that ML is particularly used to process nontraditional and unstructured data, capture strong nonlinearity, and improve prediction accuracy. Deep learning models are suitable for nontraditional data, whereas ensemble learning models are preferred for traditional datasets. While traditional econometric models may suffice for analyzing low-complexity data, the increasing complexity of economic data due to rapid digitalization and the growing literature suggests that ML is becoming an essential addition to the econometrician's toolbox.

연구 동기 및 목표

• 경제학자와 데이터 과학자들이 경제 연구 및 정책 분석에 기계학습 도구를 효과적으로 적용할 수 있도록 안내하기 위해.
• 디지털화로 인해 증가하는 데이터 복잡성의 맥락에서, 기계학습이 전통적인 계량경제학적 방법보다 적합한 경우를 명확히 하기 위해.
• 상위 경제학 저널에서의 실증 응용 기반으로, 다양한 데이터 유형과 연구 수요에 가장 효과적인 ML 모델을 특정하기 위해.
• 모델 선택, 맞춤화, 전이학습의 활용 등 성능 향상과 해석 가능성 향상을 위한 최선의 실천 방법을 강조하기 위해.
• 기계학습의 주요 한계, 예를 들어 해석 가능성, 데이터 요구 조건, 표준 오차 부족 문제를 다루며, 새로운 해결책을 제시하기 위해.

제안 방법

• 기계학습, 앙상블 학습, 딥러닝, 강화학습, 자연어처리(NLP) 등의 키워드를 사용해 10개의 주요 경제학 저널(예: AER, QJE, JPE)에서 선별된 논문을 체계적으로 검토.
• 데이터 유형(전통적 대비 비전통적), 모델 유형(딥러닝, 앙상블, 원인 기반 ML), 응용 사례(예측, 특징 추출, 원인 인과성)에 따라 ML 응용을 분류.
• 모델 선택 패턴 분석: 텍스트/음성/이미지 데이터에는 딥러닝 모델이, 표 형태 데이터에는 앙상블 모델(예: 랜덤 포레스트, XGBoost)이 가장 효과적임.
• 기사 제목과 초록에서 추출한 단어 구름(word clouds)을 활용해 기계학습 도입의 핵심 용어와 추세를 시각화(예: 'data', 'effect', 'decision', 'machine learning').
• 최근 문헌의 사례 연구를 통합하여 응용 사례를 설명: 자동에코더를 통한 자산 가격 설정, 구글 키워드 경매의 비지도 군집화, 중앙은행에서의 강화학습.
• Shapley-가치 기반 기법(예: SHAP)과 정규화된 ML 모델을 위한 渐近 이론 개발을 포함한 설명 가능성 기법 분석.

Figure 1: The number of publications over five years (between 2018-2022) in the leading economics journals that use ML. The data includes articles from the following ten journals: American Economic Review (AER), Econometrica, Journal of Economic Perspectives (JEP), Journal of Monetary Economics (JME

실험 결과

연구 질문

• RQ1 기계학습이 경제학 연구에서 특히 전통적인 계량경제학적 모델과 비교해 언제 가장 유용한가?
• RQ2 기계학습에서 가장 흔히 사용되는 모델은 무엇이며, 데이터 특성에 따라 모델 선택은 어떻게 달라지는가?
• RQ3 텍스트, 이미지, 음성과 같은 비전통적 데이터를 경제 분석에 효과적으로 적용하는 방법은 무엇인가?
• RQ4 기계학습을 경제학에 적용할 때의 주요 과제는 무엇이며, 연구자들은 설명 가능성, 편향, 표준 오차 부족 문제를 어떻게 해결하고 있는가?
• RQ5 데이터가 제한되지만 복잡한 경우, 전이학습과 사전 학습 모델이 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• 기계학습은 비전통적이고 비정형 데이터 처리, 강한 비선형성 포착, 전통적 계량경제학적 모델을 초월한 예측 정확도 향상에 점점 더 널리 사용되고 있습니다.
• 텍스트, 음성, 이미지 데이터에는 트랜스포머(Transformer) 및 ConvNext와 같은 딥러닝 모델이 선호되며, 전통적인 표 형태 데이터셋에는 앙상블 학습 모델(예: 랜덤 포레스트, XGBoost)이 가장 효과적입니다.
• 사전 학습된 모델을 활용한 전이학습은 제한된 비전통적 데이터 상황에서 성능을 크게 향상시켜, 자원이 부족한 응용 분야에서 핵심 전략이 되고 있습니다.
• 원인 기반 기계학습 모델은 인과 추론에 등장하고 있으나, 여전히 예측 모델에 비해 덜 일반적입니다.
• 설명 가능성은 여전히 주요 과제이며, Shapley-가치 기반 기법(예: SHAP)이 모델 출력을 설명하는 데 사용되고 있지만, 공식적인 渐近 이론은 아직 확보되어 있지 않습니다.
• 진전이 있었음에도 불구하고, ML 모델은 여전히 표준 오차와 渐近 성질을 갖추지 못했으며, 과적합과 데이터 편향은 경제학 응용에서 여전히 핵심적인 우려 사항입니다.

Figure 2: Schematic diagram representing the relative merits of ML and traditional econometric methods. The plot is adapted from [ 1 , 18 ] .