[论文解读] Learning Debiased Classifier with Biased Committee

Nayeong Kim, Sehyun Hwang+3 more|arXiv (Cornell University)|Jun 22, 2022

Machine Learning and Data Classification被引用 13

一句话总结

该论文提出了一种去偏方法——带偏见委员会学习（LWBC），通过使用基于自助采样法的偏见分类器集合，利用预测难度的一致性来识别并加权违背虚假相关性的样本（即偏见冲突样本）。该方法在五个真实世界数据集上，平均将最差群体准确率提升了8.2%，即使没有虚假属性标签，也优于以往最先进方法，通过联合训练主分类器与知识蒸馏的委员会实现渐进式去偏。

ABSTRACT

Neural networks are prone to be biased towards spurious correlations between classes and latent attributes exhibited in a major portion of training data, which ruins their generalization capability. We propose a new method for training debiased classifiers with no spurious attribute label. The key idea is to employ a committee of classifiers as an auxiliary module that identifies bias-conflicting data, i.e., data without spurious correlation, and assigns large weights to them when training the main classifier. The committee is learned as a bootstrapped ensemble so that a majority of its classifiers are biased as well as being diverse, and intentionally fail to predict classes of bias-conflicting data accordingly. The consensus within the committee on prediction difficulty thus provides a reliable cue for identifying and weighting bias-conflicting data. Moreover, the committee is also trained with knowledge transferred from the main classifier so that it gradually becomes debiased along with the main classifier and emphasizes more difficult data as training progresses. On five real-world datasets, our method outperforms prior arts using no spurious attribute label like ours and even surpasses those relying on bias labels occasionally.

研究动机与目标

• 解决深度学习中因训练数据中类别与潜在属性之间存在虚假相关性而引发的模型偏见问题。
• 开发一种无需显式虚假属性标注的去偏方法，因为此类标注成本高且难以获取。
• 相比单个偏见分类器方法，提高对偏见冲突样本识别的可靠性和精确度。
• 通过在训练过程中从主分类器蒸馏知识，使辅助委员会能够逐步去偏。

提出的方法

• 该方法采用基于自助采样法的分类器集合作为委员会，每个分类器在训练数据的随机子集上进行训练，以确保多样性与固有偏见。
• 通过委员会内预测难度的一致性来识别偏见冲突样本，并利用学习到的权重函数为这些样本分配更高的训练权重。
• 通过主分类器的logits进行知识蒸馏来训练委员会，使其逐渐减少偏见，聚焦于更困难、更模糊的样本。
• 主分类器基于委员会的一致性结果，采用类别条件加权进行训练，强调委员会认为困难的样本。
• 使用自监督表示学习作为特征提取器，以提升泛化能力并作为强基线。

实验结果

研究问题

• RQ1 与单个偏见分类器相比，偏见分类器委员会能否更可靠地识别偏见冲突样本？
• RQ2 从主分类器进行知识蒸馏如何影响委员会的去偏性能？
• RQ3 使用基于自助采样法的集合是否能提升对辅助模块超参数和初始化变化的鲁棒性？
• RQ4 自监督表示学习在无额外监督的情况下，能在多大程度上提升去偏性能？

主要发现

• LWBC 在五个真实世界数据集上实现了最先进水平的最差群体准确率，优于依赖虚假属性标签的先前方法。
• 即使未获得虚假属性标注，该方法在平均意义上仍比先前最先进方法将最差群体准确率提升了高达8.2%。
• 消融实验表明，使用结合知识蒸馏的偏见分类器委员会，相比单个偏见分类器基线，最差群体准确率平均提升了5.1%。
• 当应用知识蒸馏时，委员会的准确率与主分类器的准确率同步提升，表明实现了渐进式去偏。
• 该方法能基于偏见属性的难度实现细粒度的样本加权，例如在BAR数据集中区分潜水板跳水与潜水装备跳水的图像。