[论文解读] Instrumental Variables in Causal Inference and Machine Learning: A Survey

Anpeng Wu, Kun Kuang+2 more|arXiv (Cornell University)|Dec 12, 2022

Advanced Causal Inference Techniques被引用 5

一句话总结

本综述全面概述了因果推断与机器学习中的工具变量（IV）方法，系统性地对线性和非线性模型中的IV技术——两阶段最小二乘法（2SLS）、控制函数法（CFN）和IV评估——进行了分类。它识别了IV应用中的关键挑战，如有效IV的发现和未观测混杂因素的影响，并提出了未来研究方向，包括数据驱动的IV识别以及与混杂因素控制的整合。

ABSTRACT

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

研究动机与目标

• 为解决由于未观测混杂因素导致的相关性机器学习模型在分布外泛化能力受限的问题。
• 系统性地回顾观测数据中因果推断的工具变量（IV）方法，特别是在存在未观测混杂因素时的应用。
• 通过将IV技术整合到非线性和高维模型中，弥合经典因果推断与现代机器学习之间的鸿沟。
• 识别IV应用中的开放性问题，如有效IV的发现以及放宽对IV的严格假设。
• 通过整理基准数据集和开源实现，建立专用工具包，以促进研究的可复现性。

提出的方法

• 将IV方法划分为三类：使用IV的两阶段最小二乘法（2SLS）、使用IV的控制函数法（CFN）以及IV有效性评估。
• 回顾线性和非线性模型下经典2SLS和CFN估计器，包括基础2SLS、Sieve估计器以及用于非线性关系的机器学习增强型2SLS。
• 提出IV识别的结构假设：相关性（IV影响处理变量）、排除限制（IV仅通过处理变量影响结果）以及无共因（与结果无共同原因）。
• 提出基于条件独立性检验和因果发现算法的数据驱动方法，用于发现有效IV。
• 引入如DRIVE等框架用于领域自适应，以及CiiV框架用于对抗鲁棒性，利用IV学习领域不变表示。
• 提出将小规模随机对照试验（RCTs）与大规模观测数据融合的数据融合策略，以在缺乏IV时降低混杂偏差。

实验结果

研究问题

• RQ1 当传统无共因假设失效时，如何利用工具变量在存在未观测混杂因素的情况下估计因果效应？
• RQ2 在非线性和高维机器学习模型中应用IV时，关键的方法论进展有哪些？
• RQ3 如何利用统计与因果发现技术，从观测数据中自动发现有效工具变量？
• RQ4 当前IV假设（如排除限制）存在哪些局限性？如何通过中介变量或未观测混杂因素恢复来放宽这些假设？
• RQ5 如何将基于IV的方法与混杂因素控制及数据融合相结合，以提升现实世界因果推断的鲁棒性？

主要发现

• 两阶段最小二乘法（2SLS）和控制函数法（CFN）仍是IV估计的基础方法，其现代扩展使得非线性和高维应用成为可能。
• 机器学习增强的2SLS和CFN估计器在推荐系统、计算机视觉等复杂非线性场景中显著提升了因果效应估计的准确性。
• 通过条件独立性检验和因果发现算法可实现有效IV的发现，为自动化IV识别提供了可行路径。
• 排除限制假设仍是最具挑战性且不可检验的，通常需要强领域知识或结构建模支持。
• 将小规模随机对照试验（RCTs）与大规模观测数据融合，可在缺乏有效IV时实现稳健的因果推断。
• 在广告、医学、强化学习和计算机视觉等现实应用中，IV方法显著提升了模型的稳定性与可解释性，展现出实际应用价值。