[论文解读] Accounting for Unobserved Confounding in Domain Generalization

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|Jul 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 49被引用 6

一句话总结

本文提出衍生不变风险最小化（DIRM），一种分布鲁棒优化方法，通过在不同环境中强制误差导数的局部不变性，来应对领域泛化中的未观测混杂因素。DIRM在未观测混杂因素存在时，相较于ERM和IRM，显著提升了泛化性能与特征选择稳定性，尤其在包含图像、语音和表格输入的多模态医疗数据中表现突出。

ABSTRACT

This paper investigates the problem of learning robust, generalizable prediction models from a combination of multiple datasets and qualitative assumptions about the underlying data-generating model. Part of the challenge of learning robust models lies in the influence of unobserved confounders that void many of the invariances and principles of minimum error presently used for this problem. Our approach is to define a different invariance property of causal solutions in the presence of unobserved confounders which, through a relaxation of this invariance, can be connected with an explicit distributionally robust optimization problem over a set of affine combination of data distributions. Concretely, our objective takes the form of a standard loss, plus a regularization term that encourages partial equality of error derivatives with respect to model parameters. We demonstrate the empirical performance of our approach on healthcare data from different modalities, including image, speech and tabular data.

研究动机与目标

• 解决未观测混杂因素导致数据分布发生偏移时，分布外泛化能力受限的挑战。
• 开发一种鲁棒的学习目标，使其在观测变量无法捕捉的分布偏移下仍能保持性能。
• 形式化一种新的不变性原则，以考虑未观测混杂因素，弥合因果学习与基于相关性的学习之间的差距。
• 提升医疗应用中在多样化数据分布下特征选择的可复现性。
• 在多模态和临床数据设置中，实证验证所提方法相较于ERM、IRM和REx的优越性。

提出的方法

• 通过在不同环境中强制模型参数误差导数的部分相等，对未观测混杂因素的不变性进行松弛。
• 推导出一种分布鲁棒优化目标，结合标准损失与促进导数不变性的正则化项。
• 将不确定性集定义为训练数据分布的仿射组合，从而实现对观测变量和未观测变量偏移的鲁棒性。
• 使用超参数λ在因果解（λ→∞）与普通最小二乘法（λ=0）之间插值，实现自适应鲁棒性。
• 将该方法应用于多模态数据（图像、语音、表格）及真实世界医疗数据集中的生存预测任务。
• 采用单层网络进行特征选择稳定性分析，通过100次随机数据划分评估关键特征的一致性。

实验结果

研究问题

• RQ1 当未观测混杂因素导致条件分布P(Y|X)发生偏移时，如何实现鲁棒的泛化？
• RQ2 在混杂因素未被观测到的情况下，可以强制实施何种不变性属性？其与不变风险最小化（IRM）中的标准不变性有何不同？
• RQ3 基于误差导数不变性的正则化方法，是否能相较于ERM和IRM，提升泛化性能与特征选择稳定性？
• RQ4 在医疗数据中，当关键预测变量（如年龄）被遗漏时，该方法在现实分布偏移下的表现如何？
• RQ5 该方法在多样化数据分布下，能多大程度上保持一致的特征选择？

主要发现

• 在多模态医疗数据中，DIRM相较于ERM、IRM和REx显著提升了泛化性能，尤其在存在虚假相关性或未观测混杂因素时表现更优。
• 在语音识别任务中，DIRM通过纠正不同录音类型之间的虚假差异，降低了错误率，优于ERM和IRM。
• 在心力衰竭数据的生存预测任务中，尽管未将年龄作为预测变量，DIRM仍取得了与最先进方法相当的性能，表明其对未观测混杂因素具有鲁棒性。
• 在100次实验中，DIRM成功恢复了前10个关键影响特征的80次，而ERM仅恢复了4次，证明其在特征选择可复现性方面具有显著优势。
• 当λ ∈ [0,1]时，该方法在不同环境中均保持稳定的特征选择，验证了在训练分布仿射组合下的理论稳定性。
• 理论保证仅适用于训练分布仿射包内的分布偏移，提示在未见的极端分布偏移下需保持谨慎。