[论文解读] MaskTune: Mitigating Spurious Correlations by Forcing to Explore

Saeid Asgari Taghanaki, Aliasghar Khani+5 more|arXiv (Cornell University)|Sep 30, 2022

Machine Learning and Data Classification被引用 20

一句话总结

MaskTune 是一个单轮次微调方法，通过对训练模型发现的最具辨识性的特征进行遮蔽，强制探索新的输入特征，在无监督条件下减少对虚假相关性的依赖。

ABSTRACT

A fundamental challenge of over-parameterized deep learning models is learning meaningful data representations that yield good performance on a downstream task without over-fitting spurious input features. This work proposes MaskTune, a masking strategy that prevents over-reliance on spurious (or a limited number of) features. MaskTune forces the trained model to explore new features during a single epoch finetuning by masking previously discovered features. MaskTune, unlike earlier approaches for mitigating shortcut learning, does not require any supervision, such as annotating spurious features or labels for subgroup samples in a dataset. Our empirical results on biased MNIST, CelebA, Waterbirds, and ImagenNet-9L datasets show that MaskTune is effective on tasks that often suffer from the existence of spurious correlations. Finally, we show that MaskTune outperforms or achieves similar performance to the competing methods when applied to the selective classification (classification with rejection option) task. Code for MaskTune is available at https://github.com/aliasgharkhani/Masktune.

研究动机与目标

• 在不使用带注释的虚假标签的前提下，激励并解决深度模型对虚假输入特征的过度依赖问题。
• 提出一种基于遮蔽的微调技术，强制探索额外的特征。
• 证明对虚假相关性的鲁棒性以及在多样数据集上的选择性分类的适用性。
• 展示对遮蔽如何改变模型复杂性和行为的经验与理论洞见。

提出的方法

• 在原始数据上训练一个 ERM 模型。
• 对每个训练样本使用 xGradCAM 计算特征重要性图。
• 使用阈值化的图和上采样对最具辨识性的区域进行遮蔽（遮蔽前几项贡献）。
• 在遮蔽数据集上以较小学习率对已完全训练的模型微调一个轮次。
• 通过再次遮蔽重复，以鼓励发现新的互补特征。
• 可选地将原始模型与 MaskTune 模型进行集成以实现选择性分类。

实验结果

研究问题

• RQ1 在单轮微调期间遮蔽最初发现的辨识性特征，是否可以在无监督条件下降低对虚假相关性的依赖？
• RQ2 MaskTune 是否鼓励学习更广泛的输入特征集，从而提高鲁棒性并在选择性分类中实现可靠的拒绝？
• RQ3 MaskTune 在具有不同虚假相关性的数据集以及选择性分类场景中的表现如何？

主要发现

• MaskTune 在偏置的 MNIST、CelebA、Waterbirds 和 Background Challenge 数据集上表现优于或接近竞争方法。
• MaskTune 在 CelebA 和 Waterbirds 上在没有分组监督的情况下获得更好的最坏组准确率，同时保持较高的总体准确率。
• MaskTune 提升选择性分类性能，在 CIFAR-10、SVHN 和 Cats vs. Dogs 的不同覆盖率水平上取得强劲结果。
• 该方法在训练或模型选择阶段不需要虚假特征注释或子组标签。
• MaskTune 增强了对更广泛输入特征集的依赖，这一点通过可解释性图可视化得以体现。
• 理论分析表明，在过-参数化情形下，遮蔽可以增加模型复杂性并迫使探索。