[论文解读] Agree to Disagree: Diversity through Disagreement for Better Transferability

Matteo Pagliardini, Martin Jaggi+2 more|arXiv (Cornell University)|Feb 9, 2022

Machine Learning and Data Classification被引用 7

一句话总结

本文提出 D-BAT，一种训练算法，通过鼓励深度神经网络在分布内（in-distribution）数据上达成一致，而在分布外（out-of-distribution, OOD）数据上产生分歧，从而提升模型的可迁移性与不确定性估计能力。通过利用广义差异（generalized discrepancy）来通过分歧实现多样性，D-BAT 缓解了简单性偏差，减少了对虚假特征的依赖，并在多个基准测试中提升了 OOD 检测与泛化性能。

ABSTRACT

Gradient-based learning algorithms have an implicit simplicity bias which in effect can limit the diversity of predictors being sampled by the learning procedure. This behavior can hinder the transferability of trained models by (i) favoring the learning of simpler but spurious features -- present in the training data but absent from the test data -- and (ii) by only leveraging a small subset of predictive features. Such an effect is especially magnified when the test distribution does not exactly match the train distribution -- referred to as the Out of Distribution (OOD) generalization problem. However, given only the training data, it is not always possible to apriori assess if a given feature is spurious or transferable. Instead, we advocate for learning an ensemble of models which capture a diverse set of predictive features. Towards this, we propose a new algorithm D-BAT (Diversity-By-disAgreement Training), which enforces agreement among the models on the training data, but disagreement on the OOD data. We show how D-BAT naturally emerges from the notion of generalized discrepancy, as well as demonstrate in multiple experiments how the proposed method can mitigate shortcut-learning, enhance uncertainty and OOD detection, as well as improve transferability.

研究动机与目标

• 为解决基于梯度的学习在分布偏移下泛化能力受限的问题，特别是由于简单性偏差倾向于选择虚假特征。
• 通过学习多样化且可迁移的表示，提升深度模型在分布偏移下的可迁移性。
• 通过增加集成模型在分布外样本上的分歧，提升对 OOD 样本的不确定性估计。
• 克服现有方法在虚假特征与非虚假特征预测能力相当时去偏失败的问题。
• 提供一种理论基础扎实且实用的多样性诱导方法，避免依赖互信息等全局统计量。

提出的方法

• D-BAT 训练一个模型集成，以最小化在分布内（ID）数据上的预测分歧，同时最大化在分布外（OOD）数据上的预测分歧。
• 该方法源自广义差异，用于衡量不同模型在不同数据分布上的预测差异。
• 其损失函数结合了 ID 数据上的标准交叉熵损失与 OOD 数据上的差异损失，从而在 OOD 样本上鼓励预测分歧。
• 差异损失按每个数据点计算，支持小批量优化，避免对全批量统计量的依赖。
• 该方法在训练过程中无需访问 OOD 数据，而是依赖对抗性扰动或代理 OOD 数据来模拟分布偏移。
• 集成模型结合各独立模型的预测结果，高分歧度表示高不确定性，尤其在 OOD 输入上表现明显。

实验结果

研究问题

• RQ1 在保持对分布内数据一致预测的同时，强制对分布外数据产生分歧，是否能提升模型在分布偏移下的泛化能力？
• RQ2 当虚假特征与非虚假特征具有相同预测能力时，D-BAT 是否能有效减少对虚假特征的依赖？
• RQ3 D-BAT 与基于互信息的多样性度量相比，是否更能捕捉有意义的模型分歧？
• RQ4 D-BAT 是否能在不使用显式 OOD 数据的情况下，提升对 OOD 输入的不确定性估计？
• RQ5 基于差异的训练目标是否相比现有领域自适应或去偏方法，能带来更好的可迁移性？

主要发现

• D-BAT 显著减少了捷径学习，即使在虚假特征与复杂特征预测能力相当时，也有效抑制了模型对简单、虚假特征的依赖。
• 在 LMS-5 和 Colored-MNIST 数据集上，D-BAT 在 OOD 泛化基准测试中实现了 95% 以上的测试准确率，优于 ERM 和其他去偏基线方法。
• 与标准训练及基于互信息的方法相比，D-BAT 将 OOD 检测 AUC 提升了最高达 15 个百分点。
• D-BAT 中的分歧度量与直观的多样性概念一致，而互信息则错误地将预测相反的模型识别为多样性较低。
• 实验结果证实，D-BAT 的差异损失相比互信息更能有效识别出多样化且对 OOD 有鲁棒性的预测器。
• D-BAT 生成的集成模型在 OOD 样本上表现出更高的不确定性，其分歧度量能有效指示不确定性，而无需依赖显式 OOD 数据。