[论文解读] BiaSwap: Removing dataset bias with bias-tailored swapping augmentation

Eungyeup Kim, Jihyeon Lee+1 more|arXiv (Cornell University)|Aug 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用 4

一句话总结

BiaSwap 提出了一种针对偏见的图像增强方法，在无需事先了解偏见类型的情况下消除数据集偏见。通过利用类激活图（CAMs）和风格迁移模块，该方法将‘反偏见’图像中的偏见相关属性转移到‘引导偏见’图像上，生成真实感强、去偏的训练样本，从而在有偏和无偏数据上均提升泛化性能。

ABSTRACT

Deep neural networks often make decisions based on the spurious correlations inherent in the dataset, failing to generalize in an unbiased data distribution. Although previous approaches pre-define the type of dataset bias to prevent the network from learning it, recognizing the bias type in the real dataset is often prohibitive. This paper proposes a novel bias-tailored augmentation-based approach, BiaSwap, for learning debiased representation without requiring supervision on the bias type. Assuming that the bias corresponds to the easy-to-learn attributes, we sort the training images based on how much a biased classifier can exploits them as shortcut and divide them into bias-guiding and bias-contrary samples in an unsupervised manner. Afterwards, we integrate the style-transferring module of the image translation model with the class activation maps of such biased classifier, which enables to primarily transfer the bias attributes learned by the classifier. Therefore, given the pair of bias-guiding and bias-contrary, BiaSwap generates the bias-swapped image which contains the bias attributes from the bias-contrary images, while preserving bias-irrelevant ones in the bias-guiding images. Given such augmented images, BiaSwap demonstrates the superiority in debiasing against the existing baselines over both synthetic and real-world datasets. Even without careful supervision on the bias, BiaSwap achieves a remarkable performance on both unbiased and bias-guiding samples, implying the improved generalization capability of the model.

研究动机与目标

• 在不需对偏见类型进行显式监督的情况下解决深度学习中的数据集偏见问题。
• 通过减少模型对训练数据中虚假相关性的依赖，提升模型泛化能力。
• 在引导偏见（有偏）和反偏见（无偏）样本上均保持高性能。
• 开发一种真实感强的增强方法，仅转移与偏见相关的属性，同时保留语义内容。
• 通过假设偏见易于学习，实现无监督识别引导偏见和反偏见样本。

提出的方法

• 使用有偏分类器生成的类激活图（CAMs）识别模型利用虚假相关性的位置。
• 根据有偏分类器对易于学习的属性的利用程度，将训练图像划分为‘引导偏见’和‘反偏见’两类。
• 将 CAMs 与基于风格迁移的图像转换框架结合，仅将反偏见图像中的偏见相关属性转移到引导偏见图像上。
• 使用由 CAMs 引导的局部化判别器，确保仅针对特定属性进行风格迁移。
• 采用 GCE（广义交叉熵）损失以稳定训练，并增强源图像与目标图像间属性的一致性。
• 生成‘偏见交换’图像，保留源图像的非偏见属性，同时采用目标图像的偏见属性。

实验结果

研究问题

• RQ1 我们能否在不了解偏见类型的情况下，有效检测并缓解数据集偏见？
• RQ2 如何通过仅转移与偏见相关的属性，生成真实感强的去偏训练样本？
• RQ3 无监督识别引导偏见和反偏见样本是否能提升模型泛化能力？
• RQ4 在无偏和有偏测试场景下，偏见交换图像是否优于现有基于增强的去偏方法？
• RQ5 与产生不自然伪影的方法相比，增强图像的真实性如何影响去偏性能？

主要发现

• 在 Colored MNIST 数据集上，BiaSwap 实现了最先进的无偏测试准确率（83.74%），显著优于 SIN（40.79%）和原始模型（48.76%）。
• 在真实世界 BAR 数据集上，BiaSwap 达到 52.44% 的无偏准确率，超过 SIN（50.51%）和原始基线（49.59%）。
• 在 bFFHQ 数据集上，BiaSwap 取得 78.98% 的无偏准确率，显著高于 SIN（69.86%）和原始模型（74.86%）。
• BiaSwap 在引导偏见样本上保持了强劲性能，表明其在不牺牲有偏数据准确率的前提下提升了泛化能力。
• 可视化结果证实，BiaSwap 仅成功转移了与偏见相关的属性（如性别、颜色、纹理），同时保持了语义结构的完整性。
• 与 SIN 相比，该方法生成的增强图像更具真实感，后者常产生形状扭曲或纹理不一致等不自然伪影。