[论文解读] Model Patching: Closing the Subgroup Performance Gap with Data Augmentation

Karan Goel, Albert Gu+2 more|arXiv (Cornell University)|Aug 15, 2020

Topic Modeling参考文献 97被引用 45

一句话总结

一个名为模型修补（CAMEL）的两阶段框架学习子组间变换，并使用基于 CycleGAN 的增强以及子组一致性正则化来提升子组鲁棒性，从而缩小子组间的性能差距和在基准数据集上的鲁棒误差。

ABSTRACT

Classifiers in machine learning are often brittle when deployed. Particularly concerning are models with inconsistent performance on specific subgroups of a class, e.g., exhibiting disparities in skin cancer classification in the presence or absence of a spurious bandage. To mitigate these performance differences, we introduce model patching, a two-stage framework for improving robustness that encourages the model to be invariant to subgroup differences, and focus on class information shared by subgroups. Model patching first models subgroup features within a class and learns semantic transformations between them, and then trains a classifier with data augmentations that deliberately manipulate subgroup features. We instantiate model patching with CAMEL, which (1) uses a CycleGAN to learn the intra-class, inter-subgroup augmentations, and (2) balances subgroup performance using a theoretically-motivated subgroup consistency regularizer, accompanied by a new robust objective. We demonstrate CAMEL's effectiveness on 3 benchmark datasets, with reductions in robust error of up to 33% relative to the best baseline. Lastly, CAMEL successfully patches a model that fails due to spurious features on a real-world skin cancer dataset.

研究动机与目标

• 在同一类别内针对不同子组的脆弱分类器性能提出动机并予以解决。
• 学习保持类别标签的子组间变换。
• 用操纵子组特征的数据增强来训练分类器以提高不变性。
• 提供将子组不变性与互信息界限联系起来的理论保证。
• 在多个基准数据集和一个真实世界的皮肤癌数据集中实证验证改进。

提出的方法

• 阶段1 通过 CycleGAN 学习子组间变换，在同一类别内将样本在子组之间进行转换。
• 阶段2 在原始数据和增强数据上训练分类器，使用对子组鲁棒性的目标函数和子组一致性正则化。
• 子组鲁棒目标针对类别条件下的最差子组性能（SGDRO）。
• 子组一致性正则化通过在子组增强变体之间对齐预测来强制对子组特征的不变性。
• 总目标将 SGDRO 与正则化项结合：L_CAMEL = L_SGDRO + lambda * L_c。

实验结果

研究问题

• RQ1 学习到的子组间变换是否能在子组之间产生有意义的、保持类别标签的增强？
• RQ2 以子组为焦点的增强与一致性正则化是否能在数据集上提升鲁棒性并缩小子组差距？
• RQ3 将增强与正则化与子组不变性联系起来的理论保证是什么？
• RQ4 在基准数据集和真实世界皮肤癌数据上，CAMEL 与经验风险最小化（ERM）和鲁棒基线相比如何？

主要发现

• CAMEL 在基准数据集上实现更高的聚合鲁棒性准确率，同时缩小子组差距。
• 在 MNIST-Correlation 上，CAMEL 将子组差距缩小到 0.96%，鲁棒准确率为 97.89%。
• 在 CelebA 和 Waterbirds 上，CAMEL 持续优于基线，在 Waterbirds 上将子组差距缩小最多 10.22 个百分点。
• 在 ISIC 皮肤癌数据上，CAMEL 将鲁棒准确率提高 11.7%，恶性类别准确率从 65.59% 提升到 78.86%（文中近似报道）。
• 消融实验显示，学习到的增强配合强正则化能获得最佳鲁棒性，而启发式增强或较弱的一致性可能会损害性能。
• MI 估计表明 CAMEL 会诱导子组不变的表示，在 MNIST-Correlation 上 MI 估计降至 0.02（越低越好）。