[论文解读] Machine Learning Methods Economists Should Know About

Susan Athey, Guido W. Imbens|arXiv (Cornell University)|Mar 24, 2019

Monetary Policy and Economic Impact参考文献 123被引用 25

一句话总结

本文主张经济学家应将关键的机器学习（ML）方法——如监督学习与无监督学习、矩阵补全，以及混合ML-计量经济学技术——整合到其经验研究工具箱中。研究表明，这些方法在高维或复杂数据情境下，能提升预测准确性和因果推断能力。

ABSTRACT

We discuss the relevance of the recent Machine Learning (ML) literature for economics and econometrics. First we discuss the differences in goals, methods and settings between the ML literature and the traditional econometrics and statistics literatures. Then we discuss some specific methods from the machine learning literature that we view as important for empirical researchers in economics. These include supervised learning methods for regression and classification, unsupervised learning methods, as well as matrix completion methods. Finally, we highlight newly developed methods at the intersection of ML and econometrics, methods that typically perform better than either off-the-shelf ML or more traditional econometric methods when applied to particular classes of problems, problems that include causal inference for average treatment effects, optimal policy estimation, and estimation of the counterfactual effect of price changes in consumer choice models.

研究动机与目标

• 通过突出既具实证效力又理论扎实的方法，解决经济学中机器学习应用进展缓慢的问题。
• 通过识别共同目标与互补优势，弥合传统计量经济学与现代机器学习之间的文化与方法论鸿沟。
• 主张将机器学习方法整合进研究生计量经济学课程，以提升研究者分析大数据与跨学科沟通的能力。
• 证明混合ML-计量经济学方法在因果推断与政策评估中通常优于标准ML或传统计量经济学方法。
• 为经济学家提供一份路线图，使其在不牺牲计量经济学实践核心的可解释性与推断严谨性前提下，采用机器学习工具。

提出的方法

• 将机器学习方法分类为监督学习（回归、分类）、无监督学习（聚类、降维）以及矩阵补全（例如用于文本或推荐系统）。
• 对文档-词项矩阵应用矩阵分解，通过LDA等模型提取潜在主题，将主题建模视为矩阵补全问题。
• 利用词嵌入（例如神经概率语言模型）通过词的分布式向量表示来表达语义含义。
• 引入监督主题模型，将标注结果（例如情感、政治倾向）整合进生成模型，以预测文档特征。
• 强调正则化技术（如Lasso、岭回归）在处理词数（T）超过文档数（N）的高维文本数据中的作用。
• 提出结合机器学习预测优势与计量经济学推断能力的混合方法，例如用于因果效应估计的双重机器学习，以提升稳健性与有效性。

实验结果

研究问题

• RQ1 哪些机器学习方法对处理高维或复杂数据的实证经济学家最为相关且有益？
• RQ2 无监督学习技术（如主题建模）如何被建模为矩阵补全问题，以改善文档表示与预测？
• RQ3 在因果推断任务中，混合ML-计量经济学方法在哪些方面优于标准ML或传统计量经济学方法？
• RQ4 在经济应用的文本分析中，使用词嵌入与神经语言模型具有哪些实际与理论优势？
• RQ5 当特征数（如词数）远超观测数（如文档数）时，如何将监督学习适配于文本数据？

主要发现

• 监督学习、无监督主题建模与矩阵补全等机器学习方法在分析高维数据方面极为有效，尤其适用于基于文本的经济研究。
• 如LDA等主题模型可被解释为矩阵补全问题，其目标是基于潜在主题结构预测文档中的词出现情况。
• 基于神经概率语言模型的词嵌入方法，通过词的分布式向量表示，成功捕捉了词与词之间的语义关系。
• 监督主题模型通过在生成建模过程中整合标注结果，提升了对文档层面特征（如情感、政治偏见）的预测准确性。
• 正则化技术与降维（如通过无监督主题建模实现）在处理T大N小的常见文本分析场景中至关重要。
• 混合ML-计量经济学方法（如双重机器学习）在因果效应估计中相比标准ML或传统计量经济学模型，展现出更优的推断能力与稳健性。