[论文解读] Learning from Failure: Training Debiased Classifier from Biased Classifier

Jun Hyun Nam, Hyuntak Cha+3 more|arXiv (Cornell University)|Jul 6, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用 53

一句话总结

LfF 在并行训练有偏网络和去偏网络；有偏网络在早期放大偏见，而去偏网络专注于偏见失败的样本，从而在没有显式偏见标签的情况下提高无偏见准确性。

ABSTRACT

Neural networks often learn to make predictions that overly rely on spurious correlation existing in the dataset, which causes the model to be biased. While previous work tackles this issue by using explicit labeling on the spuriously correlated attributes or presuming a particular bias type, we instead utilize a cheaper, yet generic form of human knowledge, which can be widely applicable to various types of bias. We first observe that neural networks learn to rely on the spurious correlation only when it is "easier" to learn than the desired knowledge, and such reliance is most prominent during the early phase of training. Based on the observations, we propose a failure-based debiasing scheme by training a pair of neural networks simultaneously. Our main idea is twofold; (a) we intentionally train the first network to be biased by repeatedly amplifying its "prejudice", and (b) we debias the training of the second network by focusing on samples that go against the prejudice of the biased network in (a). Extensive experiments demonstrate that our method significantly improves the training of the network against various types of biases in both synthetic and real-world datasets. Surprisingly, our framework even occasionally outperforms the debiasing methods requiring explicit supervision of the spuriously correlated attributes.

研究动机与目标

• 在显式偏置标签昂贵或不可用时，推动去偏。
• 研究训练动态，显示当偏置比目标属性更容易学习时，偏置会被学习。
• 开发一种使用 bias-focused amplification 和 failure-driven reweighting 的双网络去偏方案。
• 在合成和真实世界的有偏数据集上评估 LfF，以证明无偏性能的提升。

提出的方法

• 同时训练两个网络：一个有偏模型 fB 和一个去偏模型 fD。
• 使用广义交叉熵（GCE）损失在 fB 上放大偏差，强调易样本。
• 计算相对难度权重 W(x) = CE(fB(x),y) / (CE(fB(x),y) + CE(fD(x),y)) 以重新加权 fD 的 CE 损失。
• 使用 W(x) 对 CE 损失进行加权更新 fD，以强调偏差冲突样本。
• 依靠观察在恶性偏差中偏置比目标属性更容易学习的事实来指导加权。
• 可选地与依赖显式偏差监督的基线进行比较。

实验结果

研究问题

• RQ1 是否能够在没有显式偏置标签的情况下通过利用偏置更先被学习的训练动态实现去偏？
• RQ2 一对网络——一个有偏、一个无偏——是否能在有偏数据集上提升无偏准确性？
• RQ3 所提出的基于 GCE 的偏差放大如何与通过对偏差冲突样本加权损失的去偏结合？
• RQ4 该方法在合成有偏数据集和 CelebA、BAR 等真实世界有偏数据集上是否鲁棒？

主要发现

• LfF 在具有颜色偏见、纹理偏见和性别偏见的数据集上显著提升无偏准确性。
• 在 Colored MNIST 的高偏向比下，无偏准确率从 35.34%（vanilla）提升到 63.39%（LfF）。
• 在 Corrupted CIFAR-10 1 中，99.5% bias-aligned 样本的条件下，无偏准确性从 17.93% 提升到 31.66%（LfF）。
• 在 CelebA，LfF 获得更高的无偏准确性，并在偏差冲突样本上的表现与使用显式偏差标签的 Group DRO 相当。
• 在 BAR 真实世界数据中，LfF 在大多数动作类别上优于 vanilla 和 ReBias，表明在现实偏见场景中的有效性。