[论文解读] MetaCI: Meta-Learning for Causal Inference in a Heterogeneous Population

Ankit Sharma, Garima Gupta+4 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Causal Inference Techniques参考文献 18被引用 12

一句话总结

MetaCI 提出了一种元学习框架，通过利用基于 Reptile 的元优化来学习深度神经网络的鲁棒初始化，从而在异质人群中提升因果推断性能，与随机初始化和基线方法相比，显著降低了平均处理效应（ATE）估计的平均绝对百分比误差（MAPE），尤其在协变量偏移和概念偏移下表现更优。

ABSTRACT

Performing inference on data obtained through observational studies is becoming extremely relevant due to the widespread availability of data in fields such as healthcare, education, retail, etc. Furthermore, this data is accrued from multiple homogeneous subgroups of a heterogeneous population, and hence, generalizing the inference mechanism over such data is essential. We propose the MetaCI framework with the goal of answering counterfactual questions in the context of causal inference (CI), where the factual observations are obtained from several homogeneous subgroups. While the CI network is designed to generalize from factual to counterfactual distribution in order to tackle covariate shift, MetaCI employs the meta-learning paradigm to tackle the shift in data distributions between training and test phase due to the presence of heterogeneity in the population, and due to drifts in the target distribution, also known as concept shift. We benchmark the performance of the MetaCI algorithm using the mean absolute percentage error over the average treatment effect as the metric, and demonstrate that meta initialization has significant gains compared to randomly initialized networks, and other methods.

研究动机与目标

• 解决因果推断模型在异质人群中泛化到新出现的未见子群体的挑战。
• 克服真实观测数据中常见的分布偏移问题，特别是概念偏移和协变量偏移。
• 通过元学习初始化深度神经网络，提升平均处理效应（ATE）估计的准确性。
• 以基于任务的元学习范式替代传统子群体分析，以发现子群体之间的共享结构。
• 在推理过程中数据分布发生偏移的情况下，证明模型的鲁棒性和泛化能力。

提出的方法

• 基于混淆特征派生的子群体定义元学习中的任务，使模型能够从子群体间的共享模式中学习。
• 应用 Reptile 算法进行元优化，通过在多个任务上更新网络参数，学习到一个强健的初始参数配置。
• 提出 multi-Reptile，为表示层和假设层使用不同的学习率，以稳定学习过程并提升泛化性能。
• 采用深度神经网络架构，同时建模事实结果和反事实结果，并考虑混淆变量的影响，损失通过元优化最小化。
• 在具有受控分布偏移的合成数据集和半合成数据集（IHDP 和广告领域）上训练模型，以模拟现实世界中的异质性。
• 采用 ATE 的平均绝对百分比误差（MAPE）作为主要评估指标，用于衡量在不同任务数量和混合策略下的性能表现。

实验结果

研究问题

• RQ1 元学习能否提升因果推断模型在异质人群中对未见子群体的泛化能力？
• RQ2 在分布偏移条件下，通过 Reptile 进行元初始化与随机初始化相比，在 ATE 估计准确性方面有何差异？
• RQ3 任务数量和混合策略（k）的变化对 MetaCI 框架性能有何影响？
• RQ4 表示层与假设层之间相对学习率的变化如何影响模型收敛性和 ATE 估计准确性？
• RQ5 MetaCI 在观测数据中能否同时有效处理协变量偏移和概念偏移？

主要发现

• 在 IHDP 数据集上，使用 7 个任务和 4 个混合块时，MetaCI 相较于 RandomCI 将 ATE 的 MAPE 最多降低了 70%。
• 在包含 7 个任务的合成数据集上，MetaCI 的 MAPE 为 0.5528，而 RandomCI 为 0.6976，显示出持续的性能提升。
• 在使用 3 个混合块和单特征任务时，MetaCI 在合成数据集上的 MAPE 为 0.2473，显著优于 RandomCI 的 1.3160。
• 当使用 multi-Reptile 并为表示层设置更慢的学习率（εϕ < εh）时，MetaCI 在 IHDP 数据集上的 ATE 估计值与真实值的偏差在 0.01 以内。
• 在同时存在协变量偏移和概念偏移的场景下（例如，3 种数据生成过程），MetaCI 在合成数据集上的平均 ATE MAPE 为 1.3153，而 RandomCI 为 2.0104。
• 该框架在概念偏移下表现出更快的收敛速度和更好的稳定性，尤其当数据生成过程（DGPs）数量增加时更为明显。