[论文解读] Robustness to Spurious Correlations via Human Annotations

Megha Srivastava, Tatsunori Hashimoto+1 more|arXiv (Cornell University)|Jul 13, 2020

Machine Learning and Data Classification被引用 26

一句话总结

本文提出UV-DRO框架，通过利用人类标注的未测量混杂因素（如吸烟、种族、地理位置）的自然语言描述，提升模型对虚假相关性的鲁棒性。通过将这些标注视为未观测变量的代理，该方法在潜在测试时分布变化下构建分布鲁棒优化目标，在数字识别任务中实现5–10%的准确率提升，在NYPD盘查预测任务中实现1.5–5%的提升，接近最优模型性能。

ABSTRACT

The reliability of machine learning systems critically assumes that the associations between features and labels remain similar between training and test distributions. However, unmeasured variables, such as confounders, break this assumption---useful correlations between features and labels at training time can become useless or even harmful at test time. For example, high obesity is generally predictive for heart disease, but this relation may not hold for smokers who generally have lower rates of obesity and higher rates of heart disease. We present a framework for making models robust to spurious correlations by leveraging humans' common sense knowledge of causality. Specifically, we use human annotation to augment each training example with a potential unmeasured variable (i.e. an underweight patient with heart disease may be a smoker), reducing the problem to a covariate shift problem. We then introduce a new distributionally robust optimization objective over unmeasured variables (UV-DRO) to control the worst-case loss over possible test-time shifts. Empirically, we show improvements of 5-10% on a digit recognition task confounded by rotation, and 1.5-5% on the task of analyzing NYPD Police Stops confounded by location.

研究动机与目标

• 解决因未测量混杂因素（如吸烟、种族或地理位置）导致的分布偏移所引发的模型失效问题。
• 利用人类对因果关系的常识知识，识别可能的测试时分布变化。
• 开发一种无需显式测量混杂变量即可提升模型鲁棒性的方法。
• 证明未测量变量的自然语言标注可有效引导分布鲁棒优化。

提出的方法

• 在训练数据中引入人类标注的潜在未测量变量（UVs）的自然语言描述，这些变量可能解释标签预测。
• 使用众包获取的 $ c \mid x, y $ 样本，将未测量变量建模为给定观测特征 $ x $ 和标签 $ y $ 的隐变量 $ c $。
• 提出一种新目标——UV-DRO（未测量变量分布鲁棒优化），以最小化 $ (x, c) $ 在可能的测试时分布变化下的最坏情况期望损失。
• 利用标注中获得的条件分布 $ p(c \mid x, y) $ 定义潜在测试分布集合 $ \mathcal{P} $，实现类似协变量偏移的泛化能力。
• 使用UV-DRO训练模型，确保在多种未测量混杂因子偏移下保持性能鲁棒性。
• 将自由文本标注转化为向量表示（例如，使用距离矩阵），以整合进学习目标。

实验结果

研究问题

• RQ1 人类标注的未测量混杂因素的自然语言描述能否提升模型对虚假相关性的鲁棒性？
• RQ2 UV-DRO在多大程度上能逼近已知真实混杂因子分布的最优模型性能？
• RQ3 在存在未测量变量的真实世界任务中，UV-DRO相较于标准ERM和现有DRO基线方法的有效性如何？
• RQ4 人类标注的未测量变量是否能捕捉到高风险预测任务中如种族或社会经济背景等有意义且可解释的因素？

主要发现

• 在旋转混淆的MNIST数字识别任务中，UV-DRO实现了5–10%的准确率提升，显著优于标准ERM和现有DRO基线方法。
• 在NYPD盘查预测任务中，UV-DRO带来1.5–5%的准确率增益，几乎填补了ERM与最优DRO模型之间差距的一半。
• 众包标注成功捕捉到可解释的未测量变量，如种族、警方判断力和暴力犯罪，且模型权重与领域知识一致。
• 仅基于标注训练的逻辑回归模型在预测盘查地点方面达到64.8%的准确率，优于仅使用观测特征的模型（61.3%）。
• 打乱标注数据或使用标准DRO基线方法均未带来优于ERM的性能提升，证实UV-DRO的成功源于人类标注混杂因子的质量与结构。
• 结果表明，当通过自然语言标注形式化人类常识推理时，可有效建模未测量混杂因素，并实现鲁棒泛化。