[论文解读] BARACK: Partially Supervised Group Robustness With Guarantees

Nimit S. Sohoni, Maziar Sanjabi+5 more|arXiv (Cornell University)|Dec 31, 2021

Adversarial Robustness in Machine Learning被引用 8

一句话总结

本文提出 Barack，一种两阶段框架，通过利用部分群体标签来提升机器学习中的最差群体鲁棒性。首先，训练一个模型以在未标注数据上预测缺失的群体标签；然后，将这些预测结果用于群体分布鲁棒优化（GDRO）目标。该方法即使仅使用 1–33% 的群体标签，性能也接近全监督 GDRO，且得到了理论泛化界和多个基准的实证验证支持。

ABSTRACT

While neural networks have shown remarkable success on classification tasks in terms of average-case performance, they often fail to perform well on certain groups of the data. Such group information may be expensive to obtain; thus, recent works in robustness and fairness have proposed ways to improve worst-group performance even when group labels are unavailable for the training data. However, these methods generally underperform methods that utilize group information at training time. In this work, we assume access to a small number of group labels alongside a larger dataset without group labels. We propose BARACK, a simple two-step framework to utilize this partial group information to improve worst-group performance: train a model to predict the missing group labels for the training data, and then use these predicted group labels in a robust optimization objective. Theoretically, we provide generalization bounds for our approach in terms of the worst-group performance, which scale with respect to both the total number of training points and the number of training points with group labels. Empirically, our method outperforms the baselines that do not use group information, even when only 1-33% of points have group labels. We provide ablation studies to support the robustness and extensibility of our framework.

研究动机与目标

• 解决当群体标签成本高昂或不可用时，神经网络在最差群体上表现不佳的挑战。
• 通过仅使用少量群体标签，弥合全监督鲁棒训练与无监督方法之间的性能差距。
• 提供关于最差群体泛化能力的理论保证，且该保证随标注样本数量和总数据量而变化。
• 通过实证验证，部分监督可显著提升鲁棒性，优于完全不使用群体信息的方法。

提出的方法

• 在具有可用群体标签的数据子集上训练群体分类器，以预测剩余未标注数据的群体身份。
• 在模型训练过程中，将第一阶段预测的群体标签作为伪标签，用于群体分布鲁棒优化（GDRO）目标。
• 应用理论分析，推导出依赖于标注样本数量和总数据量的最差群体性能泛化界。
• 利用半监督学习（SSL），特别是 FixMatch，增强群体分类器，以提高标签预测质量。
• 使用预测的群体标签，通过 GDRO 优化最终的鲁棒模型，同时保持标准超参数搜索和模型选择流程。
• 开展消融研究，评估群体预测质量、模型初始化和数据增强对整体性能的影响。

实验结果

研究问题

• RQ1 少量群体标签是否能显著改善分类任务中的最差群体性能？
• RQ2 最差群体的泛化误差如何随可用群体标签数量和总数据量而变化？
• RQ3 结合群体预测与鲁棒优化的两阶段方法是否优于完全不使用群体信息的方法？
• RQ4 半监督学习是否能提升预测群体标签的质量，从而提升最终的鲁棒性？
• RQ5 准确的群体预测与鲁棒优化在实现最差群体性能提升中的相对贡献分别是什么？

主要发现

• 当仅 1–33% 的训练样本具有群体标签时，Barack 的最差群体准确率与 Full-GDRO（使用全部群体标签）相差仅 2–5%。
• 在 Waterbirds 和 CelebA 数据集上，Barack 使用 8 个标注样本（1%）时，最差群体准确率分别达到 81.1% 和 90.4%，优于所有不使用群体信息的基线方法。
• 理论分析表明，最差群体泛化误差的量级为 O(1/√n_g)，其中 n_g 是具有标签的最小群体中的样本数。
• 在群体预测阶段使用半监督学习（FixMatch）可进一步收紧泛化界并提升性能。
• 消融研究证实，群体预测质量至关重要，且在使用自监督预训练（如 RotNet）时，数据增强可进一步提升性能。
• Barack 优于 GEORGE 和 Subset-GDRO 等基线方法，即使这些基线方法使用了更多标注数据，凸显了两阶段设计的价值。