[论文解读] I-SPEC: An End-to-End Framework for Learning Transportable, Shift-Stable Models

Adarsh Subbaswamy, Suchi Saria|arXiv (Cornell University)|Feb 20, 2020

Bayesian Modeling and Causal Inference参考文献 46被引用 7

一句话总结

I-Spec 是一个端到端框架，从数据中学习部分祖先图（PAG），以识别无需事先知晓完整因果DAG的稳定干预分布。通过使用PAG指导可变变量的选择，I-Spec 训练出对环境变化具有鲁棒性的模型，在死亡率预测和模拟数据中，其泛化能力优于不稳定和保守基线模型，且判别性能更高。

ABSTRACT

Shifts in environment between development and deployment cause classical supervised learning to produce models that fail to generalize well to new target distributions. Recently, many solutions which find invariant predictive distributions have been developed. Among these, graph-based approaches do not require data from the target environment and can capture more stable information than alternative methods which find stable feature sets. However, these approaches assume that the data generating process is known in the form of a full causal graph, which is generally not the case. In this paper, we propose I-SPEC, an end-to-end framework that addresses this shortcoming by using data to learn a partial ancestral graph (PAG). Using the PAG we develop an algorithm that determines an interventional distribution that is stable to the declared shifts; this subsumes existing approaches which find stable feature sets that are less accurate. We apply I-SPEC to a mortality prediction problem to show it can learn a model that is robust to shifts without needing upfront knowledge of the full causal DAG.

研究动机与目标

• 解决在医疗等安全关键应用中，模型在环境变化下失效的挑战。
• 开发一种方法，在无需完整因果图先验知识的情况下，确保模型稳定性。
• 仅使用数据实现稳定、可迁移模型的端到端学习，避免依赖目标环境数据。
• 通过使用学习到的PAG识别应防范的环境变化，提升模型鲁棒性。
• 证明从数据中学习的干预分布可产生比条件分布或保守方法更准确、更稳定的模型。

提出的方法

• 从观察数据中学习部分祖先图（PAG），以表示因果结构的不确定性。
• 利用PAG通过分析d-分离和干预路径，识别可变变量——即受环境变化影响的变量。
• 为在声明的环境变化下保持稳定的变量，制定干预分布 E[Y|do(X_i)]。
• 设计一种算法，基于PAG选择最优的可变变量集合，以最大化稳定性和预测性能。
• 在稳定干预分布上训练最终模型，确保对指定变化的不变性。
• 将结构学习与干预目标定位相结合，构建从数据到鲁棒模型的端到端流程。

实验结果

研究问题

• RQ1 我们能否在不事先知晓完整因果DAG的情况下，学习到稳定的干预分布？
• RQ2 我们能否仅使用观察数据，识别出模型应具备鲁棒性的环境变化？
• RQ3 从数据中学习PAG是否能实现比依赖完整因果图或固定稳定特征集的现有方法更好的泛化能力？
• RQ4 该框架能否在性能上超越不稳定模型和过度保守的模型（即保护所有变化）？
• RQ5 可变变量的选择如何影响模型在分布变化下的准确性和稳定性？

主要发现

• 在死亡率预测中，I-Spec 在新医院 H2 和 H3 的 AUROC 显著高于不稳定模型，后者因实验室检查时间与死亡率关联发生反转而性能下降。
• 与保守模型相比，I-Spec 模型实现了更高的判别性能，后者因保护所有变化而损失了预测信号。
• 在模拟数据中，I-Spec 的干预模型在所有变化幅度下均表现出比条件模型更低的均方误差（MSE），证明其具有更优的稳定性和准确性。
• I-Spec 在不同医院间的预测排名相关性更一致（中位数 ρ = 0.86），而不稳定模型的中位数 ρ 为 0.82，表明患者排序更稳定。
• 保守模型的排名相关性略高（中位数 ρ = 0.90），但 AUROC 更差，证实过度保护会降低性能。
• I-Spec 成功识别出相关变化（如设备差异），同时排除了不相关的变化（如影像协议），从而实现更好的泛化能力和更高准确率。