[论文解读] A Deeper Look at Dataset Bias

Tatiana Tommasi, Novi Patricia+2 more|arXiv (Cornell University)|May 6, 2015

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5

一句话总结

本文通过分析预训练卷积神经网络（CNN）的DeCAF层激活特征，研究计算机视觉中的数据集偏差问题，以评估其在不同数据集上的鲁棒性。作者发现，尽管DeCAF特征能提升泛化性能，但显著的偏差依然存在，且现有去偏方法仍有限——凸显了对更鲁棒的表征学习和更优评估协议的迫切需求，以解决视觉模型长期存在的泛化挑战。

ABSTRACT

The presence of a bias in each image data collection has recently attracted a lot of attention in the computer vision community showing the limits in generalization of any learning method trained on a specific dataset. At the same time, with the rapid development of deep learning architectures, the activation values of Convolutional Neural Networks (CNN) are emerging as reliable and robust image descriptors. In this paper we propose to verify the potential of the DeCAF features when facing the dataset bias problem. We conduct a series of analyses looking at how existing datasets differ among each other and verifying the performance of existing debiasing methods under different representations. We learn important lessons on which part of the dataset bias problem can be considered solved and which open questions still need to be tackled.

研究动机与目标

• 分析数据集偏差如何影响计算机视觉中的模型泛化能力。
• 评估DeCAF特征在缓解数据集偏差方面的有效性。
• 在不同特征表示下比较现有去偏方法的性能。
• 识别哪些数据集偏差问题可解，哪些仍为开放问题。
• 为提升视觉模型鲁棒性的表征学习提供洞见。

提出的方法

• 作者从预训练的CNN（具体为AlexNet的pool5层）中提取DeCAF特征作为图像描述符。
• 他们在多个基准数据集之间进行对比分析，以识别分布差异和偏差。
• 他们使用DeCAF特征作为输入表征，评估现有的去偏技术。
• 他们分析不同数据集间特征激活模式，以检测与领域相关的偏差。
• 他们采用零样本学习和跨数据集泛化设置，测试模型的鲁棒性。
• 他们进行消融研究，以评估不同层和表征对去偏贡献的程度。

实验结果

研究问题

• RQ1 DeCAF特征与其它表征相比，在捕捉数据集偏差方面表现如何？
• RQ2 在零样本学习和跨数据集学习中，DeCAF特征能在多大程度上减轻数据集偏差的影响？
• RQ3 当使用DeCAF特征时，当前去偏方法有效缓解了数据集偏差的哪些组成部分？
• RQ4 即使在使用强CNN特征的情况下，仍存在哪些持续存在的偏差来源？
• RQ5 DeCAF特征能否作为未来去偏技术评估的可靠基线？

主要发现

• 与传统图像表征相比，DeCAF特征显著提升了零样本泛化性能。
• 尽管具有鲁棒性，DeCAF特征仍继承并反映出数据集特定的偏差，尤其是在类别分布和物体外观方面。
• 当应用于DeCAF特征时，现有去偏方法的改进效果有限，表明偏差已深度嵌入数据分布之中。
• 本研究发现，物体类别频率偏差和背景统计偏差即使在使用强特征提取器时，仍是主要挑战。
• 作者得出结论：尽管表征学习已取得进步，但数据集偏差的核心问题仍未解决，亟需新的评估与训练范式。
• 本文强调，当前基准测试不足以衡量真正的泛化能力，因为模型仍会过拟合到隐藏的数据集偏差上。