[论文解读] A Testbed for Cross-Dataset Analysis

Tatiana Tommasi, Tinne Tuytelaars+1 more|arXiv (Cornell University)|Feb 24, 2014

Advanced Image and Video Retrieval Techniques参考文献 29被引用 47

一句话总结

本文提出一个统一的测试平台，整合了十二个多样化的计算机视觉数据集，以研究视觉识别中的数据集偏差。通过将这些数据集的特征聚合到一个共享存储库中，作者实现了跨数据集评估，揭示了模型泛化能力通常受限于特定数据集的偏差，并为在不同视觉领域中开发更鲁棒的方法奠定了基础。

ABSTRACT

Since its beginning visual recognition research has tried to capture the huge variability of the visual world in several image collections. The number of available datasets is still progressively growing together with the amount of samples per object category. However, this trend does not correspond directly to an increasing in the generalization capabilities of the developed recognition systems. Each collection tends to have its specific characteristics and to cover just some aspects of the visual world: these biases often narrow the effect of the methods defined and tested separately over each image set. Our work makes a first step towards the analysis of the dataset bias problem on a large scale. We organize twelve existing databases in a unique corpus and we present the visual community with a useful feature repository for future research.

研究动机与目标

• 为解决视觉识别中日益严重的数据集偏差问题，即模型在单个数据集上表现良好，但在跨数据集时泛化能力差。
• 创建一个集中化、可访问的视觉特征仓库，这些特征来自多个现有数据集，以支持跨数据集评估。
• 实现对数据集特定特征如何影响识别性能和模型泛化能力的系统性分析。
• 为计算机视觉社区提供一个标准化基础设施，用于在多样化数据分布之间测试和比较识别方法。

提出的方法

• 作者将十二个广泛使用的计算机视觉数据集整合为一个统一的语料库，以支持对比分析。
• 他们在所有数据集中提取并标准化了视觉特征——特别是深度卷积神经网络（CNN）特征——以确保表示的一致性。
• 该特征仓库使用预训练模型从所有数据集的相同层中提取激活值，从而实现直接比较。
• 该测试平台通过允许模型在一个数据集上训练并在其他数据集上测试，支持跨数据集评估，以衡量泛化性能。
• 该框架设计为可扩展，未来可轻松添加新的数据集和特征，且几乎无需重新配置。

实验结果

研究问题

• RQ1 当模型在一个数据集上训练并在另一个数据集上测试时，在多样化视觉领域中其性能如何变化？
• RQ2 数据集特定的偏差在多大程度上限制了视觉识别系统的泛化能力？
• RQ3 统一的特征仓库在多大程度上能提升跨数据集评估的可靠性和可比性？
• RQ4 哪些数据集的主导特征最显著地影响模型的泛化性能？

主要发现

• 在单一数据集上训练的模型在其他数据集上测试时，性能通常显著下降，表明存在强烈的样本偏差。
• 该测试平台揭示了不同数据集之间的性能差距显著，且并非仅仅由数据量或质量差异造成。
• 共享特征仓库实现了稳定且可复现的跨数据集比较，验证了其在基准测试中的实用性。
• 研究证明，即使使用相同的深度网络架构提取特征，模型泛化性能对域偏移仍高度敏感。