[论文解读] Generalization and Invariances in the Presence of Unobserved Confounding.

Alexis Bellot, Mihaela van der Schaar|arXiv (Cornell University)|Jul 21, 2020

Machine Learning in Healthcare参考文献 45被引用 11

一句话总结

本文提出了一种因果泛化原则，通过制定一个与基于梯度的方法兼容的一般性目标，实现了在存在未观测混杂因素的情况下跨分布偏移的稳健学习。该方法在来自图像和语音等多样化模态的医疗数据中实现了更优的预测稳定性和泛化性能，证明了在隐藏混杂因素存在下的有效性。

ABSTRACT

The ability to extrapolate, or generalize, from observed to new related environments is central to any form of reliable machine learning, yet most methods fail when moving beyond $i.i.d$ data. In some cases, the reason lies in a misappreciation of the causal structure that governs the observed data. But, in others, it is unobserved data, such as hidden confounders, that drive changes in observed distributions and distort observed correlations. In this paper, we argue that generalization must be defined with respect to a broader class of distribution shifts, irrespective of their origin (arising from changes in observed, unobserved or target variables). We propose a new learning principle from which we may expect an explicit notion of generalization to certain new environments, even in the presence of hidden confounding. This principle leads us to formulate a general objective that may be paired with any gradient-based learning algorithm; algorithms that have a causal interpretation in some cases and enjoy notions of predictive stability in others. We demonstrate the empirical performance of our approach on healthcare data from different modalities, including image and speech data.

研究动机与目标

• 为解决由于未观测混杂因素导致的数据分布偏移所带来的模型泛化挑战，这在真实世界机器学习设置中很常见。
• 不仅定义在观测到的数据分布偏移上的泛化，还扩展到更广泛的分布偏移类别，包括由隐藏变量驱动的偏移。
• 开发一种学习原则，确保在混杂因素未被观测到的情况下，预测仍具稳定性和对新环境的泛化能力。
• 创建一个通用且可微分的目标函数，可与任何基于梯度的学习算法集成，同时根据需要保持因果可解释性或稳定性。

提出的方法

• 提出一种基于对分布偏移的不变性原则的新学习方法，通过将更广泛的环境偏移类别纳入考虑，显式处理未观测混杂因素。
• 推导出一个通用的优化目标，通过利用数据生成过程的结构约束，在混杂因素未被观测到的情况下，仍能强制实现跨环境的不变性。
• 将所提目标与任何基于梯度的学习算法集成，实现端到端训练，同时在可识别情况下保持因果可解释性。
• 采用一种表示学习框架，鼓励预测在不同环境中保持不变，从而减少对由隐藏混杂因素引起的虚假相关性的依赖。
• 采用一种分布偏移建模方法，将观测变量、未观测变量和目标变量的变化统一纳入一个泛化框架中。
• 将该方法应用于多模态医疗数据，包括图像和语音，以在现实分布偏移下评估性能。

实验结果

研究问题

• RQ1 当未观测混杂因素在不同环境中引起分布偏移时，如何有意义地定义泛化？
• RQ2 能否开发一种统一的学习原则，确保在观测到的和由混杂因素引起的偏移下均实现泛化？
• RQ3 何种目标函数能够在存在隐藏混杂因素的情况下实现稳健泛化，同时仍与基于梯度的学习兼容？
• RQ4 在真实世界医疗数据中，该方法在预测稳定性和分布外性能方面与标准基线相比表现如何？

主要发现

• 所提方法在医疗数据的分布外测试集上实现了更优的泛化性能，即使未观测混杂因素扭曲了观测到的相关性。
• 该方法在由隐藏混杂因素引起的分布偏移下，表现出在多种数据模态（包括医学图像和语音）中的预测稳定性。
• 所提通用目标被证明与标准深度学习框架兼容，可无缝集成到现有训练流程中。
• 在可识别因果结构的设置中，该方法能够恢复因果表示，为预测提供因果解释。
• 在多模态医疗数据上的实证结果表明，该方法减少了对由未观测混杂因素引起的虚假相关性的依赖。
• 在分布偏移下的泛化性能方面，该方法优于标准的经验风险最小化和其他基于不变性的基线方法。