Skip to main content
QUICK REVIEW

[论文解读] Just Train Twice: Improving Group Robustness without Training Group Information

Evan Liu, Behzad Haghgoo|arXiv (Cornell University)|Jul 19, 2021
Machine Learning and Data ClassificationComputer Science被引用 70
一句话总结

Jtt 训练一个标准 ERM 模型以识别高损失样本,然后在第二次 ERM 运行中对这些被错误分类的样本进行重权,以在不训练组标签的情况下改善最差组表现,接近组 DRO 表现。

ABSTRACT

Standard training via empirical risk minimization (ERM) can produce models that achieve high accuracy on average but low accuracy on certain groups, especially in the presence of spurious correlations between the input and label. Prior approaches that achieve high worst-group accuracy, like group distributionally robust optimization (group DRO) require expensive group annotations for each training point, whereas approaches that do not use such group annotations typically achieve unsatisfactory worst-group accuracy. In this paper, we propose a simple two-stage approach, JTT, that first trains a standard ERM model for several epochs, and then trains a second model that upweights the training examples that the first model misclassified. Intuitively, this upweights examples from groups on which standard ERM models perform poorly, leading to improved worst-group performance. Averaged over four image classification and natural language processing tasks with spurious correlations, JTT closes 75% of the gap in worst-group accuracy between standard ERM and group DRO, while only requiring group annotations on a small validation set in order to tune hyperparameters.

研究动机与目标

  • 激发基于 ERM 的模型在少数群体上因虚假相关而表现不佳的问题。
  • 提出一个简单的两阶段方法(Just Train Twice)在不使用训练组标签的情况下提升最坏组准确率。
  • 在具有伪相关性的四个数据集上展示经验改进。
  • 分析误差集的含义以及带有组注释的小型验证集在超参数调优中的作用。

提出的方法

  • 阶段1:通过 ERM 训练识别模型 T 次,并收集错误集 E,即错分的训练样本。
  • 阶段2:在一个上采样的数据集上训练最终模型,其中 E 中的样本重复 lambda_up 次,增加它们的影响。
  • 最终目标是 J_up-ERM(θ,E) = lambda_up * sum_{(x,y) in E} l(x,y;θ) + sum_{(x,y) not in E} l(x,y;θ).
  • 超参数包括 T(识别模型的训练轮数)和 lambda_up(重权因子);调优使用最坏组验证准确率。
  • 推荐进行验证引导的超参数调优,覆盖 Jtt、CVaR DRO 和 LfF。

实验结果

研究问题

  • RQ1在多样化任务中,两阶段、无需组注释的方法是否能将最坏组准确率拉近到组 DRO 的水平?
  • RQ2第一阶段 ERM 模型识别的错误样本在没有训练时组标签的情况下能否较好地捕捉到困难组?
  • RQ3超参数调优对最坏组表现的影响如何,验证组信息是否对调优至关重要?
  • RQ4Jtt 在最坏组表现和平均准确率方面与 CVaR DRO 和 LfF 相比如何?
  • RQ5Jtt 的错误集在不同组的组成及对最坏组样本的富集程度如何?

主要发现

  • Jtt 在 Waterbirds、CelebA、MultiNLI 和 CivilComments-WILDS 上始终提升最坏组准确率,优于 ERM。
  • 平均而言,与 ERM 相比,Jtt 将最坏组准确率差距缩小约 16.2 个百分点,并大约弥合了到组 DRO 的 75% 的差距。
  • Jtt 的平均准确率仅比最佳平均准确率低约 4.2 个百分点,显示了有利的权衡。
  • 误差集对最坏组样本富集,对最坏组具有较高的召回率(在所有数据集的平均为 86.4%)并且比它们在训练中的出现比例具有更高的精确度。
  • 基于最坏组验证准确率进行超参数调优对非训练组方法实现强大最坏组性能至关重要。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。