[논문 리뷰] Machine Learning Methods Economists Should Know About

Susan Athey, Guido W. Imbens|arXiv (Cornell University)|2019. 03. 24.

Monetary Policy and Economic Impact참고 문헌 123인용 수 25

한 줄 요약

이 논문은 경제학자들이 예측 정확도와 인과 추론 능력을 향상시키기 위해 주로 고차원 또는 복잡한 데이터 환경에서 효과적인 핵심 기계학습(ML) 방법—예: 지도 학습, 비지도 학습, 행렬 완성, 하이브리드 ML-경제통계 기법—을 자신의 실증 연구 도구상에 통합할 것을 주장한다.

ABSTRACT

We discuss the relevance of the recent Machine Learning (ML) literature for economics and econometrics. First we discuss the differences in goals, methods and settings between the ML literature and the traditional econometrics and statistics literatures. Then we discuss some specific methods from the machine learning literature that we view as important for empirical researchers in economics. These include supervised learning methods for regression and classification, unsupervised learning methods, as well as matrix completion methods. Finally, we highlight newly developed methods at the intersection of ML and econometrics, methods that typically perform better than either off-the-shelf ML or more traditional econometric methods when applied to particular classes of problems, problems that include causal inference for average treatment effects, optimal policy estimation, and estimation of the counterfactual effect of price changes in consumer choice models.

연구 동기 및 목표

• 경제학 분야에서 기계학습의 도입 속도가 느린 데 비쳐, 실증적으로 강력하고 이론적으로 탄탄한 방법들을 부각시켜 이를 해결하고자 한다.
• 기존 경제통계학과 현대 기계학습 간의 문화적·방법론적 격차를 줄이기 위해 공통의 목표와 상호보완적인 강점을 식별하고자 한다.
• 기계학습 기법을 대학원 경제통계 교육 과정에 통합하여 연구자가 대용량 데이터를 분석하고 다학문 간 소통 능력을 향상시킬 수 있도록 하고자 한다.
• 하이브리드 ML-경제통계 기법이 표준 ML 또는 전통적 경제통계 접근 방식보다 인과 추론 및 정책 평가 과정에서 더 뛰어난 성능을 보임을 입증하고자 한다.
• 경제학자들이 해석 가능성과 추론의 엄밀함을 유지하면서도 ML 도구를 도입할 수 있는 길라서를 제공하고자 한다.

제안 방법

• 기계학습 기법을 지도 학습(회귀, 분류), 비지도 학습(클러스터링, 차원 축소), 행렬 완성(예: 텍스트 또는 추천 시스템)으로 분류한다.
• 문서-어휘 행렬에 행렬 분해를 적용하여 잠재 토픽을 추출한다. 이는 LDA(Latent Dirichlet Allocation)와 같은 모델을 통해 이루어지며, 토픽 모델링을 행렬 완성 문제로 재구성한다.
• 단어 임베딩(예: 신경망 기반 확률적 언어 모델)을 활용해 단어의 의미를 분산 벡터 표현으로 표현한다.
• 레이블된 결과(예: 감성, 정치적 성향)를 포함한 지도 기반 토픽 모델을 도입하여 문서 특성 예측을 가능하게 한다.
• 특징 수(T)가 문서 수(N)를 초과하는 고차원 텍스트 데이터를 다룰 때 정규화 기법(예: Lasso, 릿지)을 강조한다.
• 기계학습의 예측 능력과 경제통계의 추론 능력을 융합한 하이브리드 기법을 제안한다. 예를 들어 인과 효과 추정의 정확성과 타당성을 향상시키기 위해 더블 머신러닝 기법을 활용한다.

실험 결과

연구 질문

• RQ1 고차원 또는 복잡한 데이터를 다루는 실증 경제학자들이 가장 관련 있고 유익한 기계학습 기법은 무엇인가?
• RQ2 비지도 학습 기법 중 토픽 모델링은 어떻게 행렬 완성 문제로 재구성될 수 있으며, 이를 통해 문서 표현과 예측 성능를 향상시킬 수 있는가?
• RQ3 하이브리드 ML-경제통계 기법은 어떤 방식으로 표준 ML 또는 전통적 경제통계 접근 방식보다 인과 추론 과제에서 뛰어난 성능을 보이는가?
• RQ4 경제학적 응용 분야에서 텍스트 분석에 단어 임베딩과 신경망 기반 언어 모델을 사용할 때의 실용적·이론적 이점은 무엇인가?
• RQ5 특징 수(예: 단어 수)가 관측 수(예: 문서 수)를 크게 초과할 때 지도 학습은 어떻게 텍스트 데이터에 적합하게 수정될 수 있는가?

주요 결과

• 지도 학습, 비지도 토픽 모델링, 행렬 완성과 같은 기계학습 기법은 특히 텍스트 기반 경제학 연구에서 고차원 데이터 분석에 매우 효과적이다.
• 잠재 디리클레 할당(Latent Dirichlet Allocation, LDA)과 같은 토픽 모델은 잠재 토픽 구조를 기반으로 문서 내 단어 출현 빈도를 예측하는 목표를 가진 행렬 완성 문제로 해석될 수 있다.
• 신경망 기반 확률적 언어 모델에 기반한 단어 임베딩 기법은 분산 벡터 표현을 통해 단어 간 의미 관계를 성공적으로 포착한다.
• 레이블된 결과를 생성 모델에 통합한 지도 기반 토픽 모델은 감성, 정치적 편향과 같은 문서 수준 특성 예측 정확도를 향상시킨다.
• 고-T, 저-N 설정에서 흔히 발생하는 텍스트 분석 환경에서 정규화 기법과 차원 축소(예: 비지도 토픽 모델링을 통한)는 필수적이다.
• 더블 머신러닝과 같은 하이브리드 ML-경제통계 기법은 표준 ML 또는 전통적 경제통계 모델 대비 인과 효과 추정의 추론 능력과 강건성 면에서 향상된 성능을 보인다.