[论文解读] Achieving Reliable Causal Inference with Data-Mined Variables: A Random Forest Approach to the Measurement Error Problem

Mochen Yang, Edward McFowland+2 more|arXiv (Cornell University)|Dec 19, 2020

Bayesian Modeling and Causal Inference参考文献 61被引用 4

一句话总结

本文提出 ForestIV，一种基于随机森林的新方法，用于校正因机器学习生成变量中的测量误差导致的因果推断偏差。通过利用随机森林中各棵树之间预测误差的弱相关性，该方法选择特定树作为工具变量，从而生成一致且可靠的因果估计，在模拟实验中显著优于现有偏差校正方法。

ABSTRACT

Combining machine learning with econometric analysis is becoming increasingly prevalent in both research and practice. A common empirical strategy involves the application of predictive modeling techniques to 'mine' variables of interest from available data, followed by the inclusion of those variables into an econometric framework, with the objective of estimating causal effects. Recent work highlights that, because the predictions from machine learning models are inevitably imperfect, econometric analyses based on the predicted variables are likely to suffer from bias due to measurement error. We propose a novel approach to mitigate these biases, leveraging the ensemble learning technique known as the random forest. We propose employing random forest not just for prediction, but also for generating instrumental variables to address the measurement error embedded in the prediction. The random forest algorithm performs best when comprised of a set of trees that are individually accurate in their predictions, yet which also make 'different' mistakes, i.e., have weakly correlated prediction errors. A key observation is that these properties are closely related to the relevance and exclusion requirements of valid instrumental variables. We design a data-driven procedure to select tuples of individual trees from a random forest, in which one tree serves as the endogenous covariate and the other trees serve as its instruments. Simulation experiments demonstrate the efficacy of the proposed approach in mitigating estimation biases and its superior performance over three alternative methods for bias correction.

研究动机与目标

• 解决在计量经济学模型中使用机器学习预测变量作为协变量时，因果推断中日益严重的测量误差偏差问题。
• 开发一种通用、数据驱动的方法，利用随机森林的内在结构生成有效的工具变量以实现偏差校正。
• 通过利用随机森林集成中各棵树预测误差的弱相关性，克服传统偏差校正技术的局限性。
• 为研究人员提供一种实用且可实现的框架，即使机器学习预测不完美，也能获得一致的因果估计。
• 通过在连续和二值数据挖掘变量上进行全面模拟，验证该方法的稳健性和相对于现有方法的优越性。

提出的方法

• ForestIV 使用在带有真实结果的标记数据上训练的随机森林模型，生成多个具有不同预测误差的个体树预测结果。
• 基于预测误差的弱相关性，识别出一对树：其中一棵树的预测结果作为内生协变量，另一棵树的预测结果作为工具变量。
• 该方法采用两步 Lasso 选择程序，识别满足有效工具变量相关性和排除限制条件的最优树集合。
• 通过构建基于协方差的准则，评估候选工具变量的强度和有效性，确保工具变量误差与内生预测器误差之间相关性较低。
• 该方法通过数据驱动的选择算法实现，利用训练样本中预测误差的经验矩来评估工具变量的质量。
• 事后诊断包括使用 Hotelling's T² 检验比较 ForestIV 估计值与标准标记数据估计值，并通过收敛图评估在增加未标记数据时的估计稳定性。

Figure 1: Distributions of Biased, Unbiased, and ForestIV Estimation on $lnCnt$ across 100 Simulation Runs

实验结果

研究问题

• RQ1 能否利用随机森林树生成有效的工具变量，以校正机器学习预测协变量中的测量误差？
• RQ2 ForestIV 在减少系数偏差方面，相较于三种替代偏差校正方法，表现如何？
• RQ3 在有限样本中，哪些关键经验指标可表明 ForestIV 估计的收敛性和有效性？
• RQ4 在数据挖掘变量的预测误差水平变化时，ForestIV 在保持一致性和效率方面表现如何？
• RQ5 与仅依赖标记数据进行因果推断相比，ForestIV 在哪些场景下最为有效？

主要发现

• 在连续和二值数据挖掘协变量中，ForestIV 显著降低了估计偏差，在模拟实验中优于三种基准偏差校正方法。
• 该方法通过利用随机森林树中固有的弱相关预测误差，实现了因果估计的一致性，满足关键工具变量条件。
• 模拟结果表明，即使预测准确率中等，ForestIV 生成的系数估计值也比使用预测变量的标准回归更接近真实因果效应。
• 如 Hotelling T² 检验和收敛图等经验诊断工具，可为有限样本中工具变量的有效性和估计稳定性提供可靠信号。
• 即使标记数据量有限，该方法依然有效，适用于真实世界中真实标签稀缺的应用场景。
• 由于其通用性设计，ForestIV 在结构化数据、文本和图像数据等多种数据类型中均表现出稳健性。

Figure 2: Distribution of Biased, Unbiased, and ForestIV Estimation on $Deposit$ across 100 Simulation Runs