[论文解读] Mostly Harmless Machine Learning: Learning Optimal Instruments in Linear IV Models

Jiafeng Chen, Daniel L. Chen+1 more|arXiv (Cornell University)|Nov 12, 2020

Law, Economics, and Judicial Systems参考文献 37被引用 7

一句话总结

本文提出了一种用户友好的机器学习方法，用于线性工具变量（IV）估计，通过利用工具变量与内生处理之间的非线性关系，提升了估计的精度与稳健性。通过样本分割和机器学习技术，预测处理变量对工具变量和外生协变量的依赖关系，同时约束预测结果在外生协变量上线性，确保了有效的识别，并实现了具改进的工具变量强度的一致且渐近正态的估计。

ABSTRACT

We offer straightforward theoretical results that justify incorporating machine learning in the standard linear instrumental variable setting. The key idea is to use machine learning, combined with sample-splitting, to predict the treatment variable from the instrument and any exogenous covariates, and then use this predicted treatment and the covariates as technical instruments to recover the coefficients in the second-stage. This allows the researcher to extract non-linear co-variation between the treatment and instrument that may dramatically improve estimation precision and robustness by boosting instrument strength. Importantly, we constrain the machine-learned predictions to be linear in the exogenous covariates, thus avoiding spurious identification arising from non-linear relationships between the treatment and the covariates. We show that this approach delivers consistent and asymptotically normal estimates under weak conditions and that it may be adapted to be semiparametrically efficient (Chamberlain, 1992). Our method preserves standard intuitions and interpretations of linear instrumental variable methods, including under weak identification, and provides a simple, user-friendly upgrade to the applied economics toolbox. We illustrate our method with an example in law and criminal justice, examining the causal effect of appellate court reversals on district court sentencing decisions.

研究动机与目标

• 为解决传统两阶段最小二乘法（TSLS）在线性IV模型中的局限性，即仅利用工具变量与内生变量之间的线性关系，导致在弱工具变量情况下精度较差的问题。
• 开发一种方法，利用机器学习从工具变量中提取非线性变异，同时避免因外生协变量的非线性变换而引入虚假识别。
• 在整合灵活的一阶段预测的同时，保持标准IV解释和推断工具（如Anderson–Rubin和Wald置信区间）的使用。
• 证明在高维或复杂数据设置下，一阶段使用机器学习可增强弱工具变量并提高估计效率。
• 为应用计量经济学工具包提供一种实用、半参数高效且用户友好的升级方案，同时保持可解释性与稳健性。

提出的方法

• 使用样本分割，将一阶段（工具变量预测）与二阶段（结构估计）分离，以确保有效的推断。
• 在第一阶段应用现成的机器学习模型（如LightGBM、随机森林）来从工具变量和外生协变量预测内生处理变量。
• 约束机器学习预测结果在外生协变量上线性，防止因协变量中非线性关系而引入虚假识别。
• 在第二阶段使用预测的处理变量和外生协变量作为技术性工具变量，保持线性IV框架。
• 在较弱条件下确保渐近正态性与一致性，包括一阶段预测的一致性。
• 通过利用最优估计方程框架（Chamberlain, 1992）使方法达到半参数效率。

实验结果

研究问题

• RQ1 是否可以使用机器学习从线性IV模型中的工具变量中提取非线性变异，而不会破坏识别有效性？
• RQ2 与传统的线性或二次TSLS相比，整合灵活的一阶段预测是否能提升估计的精度与稳健性？
• RQ3 尽管在一阶段使用了机器学习，该方法是否仍能保持有效的推断工具（如Anderson–Rubin和Wald置信区间）？
• RQ4 在弱工具变量存在的情况下，特别是当传统TSLS因F统计量过低而失效时，该方法表现如何？
• RQ5 机器学习在多大程度上可通过增强工具变量对内生处理变量的预测能力，来挽救弱工具变量？

主要发现

• MLSS估计量在较弱条件下仍能实现一致且渐近正态的估计，即使一阶段预测具有高度灵活性。
• 该方法成功提取了工具变量中的非线性变异，相较于线性或二次TSLS，显著提升了工具变量强度并降低了标准误。
• 在上诉法院推翻案件的实证应用中，MLSS估计量产生的置信区间比线性TSLS更紧，后者F统计量仅为1.5，Anderson–Rubin区间宽达[-3.3, 23.8]。
• 二次TSLS因模型误设导致Anderson–Rubin区间为空，而MLSS估计量（如LightGBM、RandomForest）避免了此问题，提供了非空且精确的区间。
• 使用多项式展开的分样本估计器表现较差，其样本外R²接近零，且各分割间点估计值高度可变，而MLSS则表现稳定。
• 该方法通过设计确保第二阶段估计始终为刚好识别，即使在处理效应异质性下也能避免空置信集。