[论文解读] GeoDE: a Geographically Diverse Evaluation Dataset for Object Recognition

V. Ramaswamy, Sing Yu Lin+5 more|arXiv (Cornell University)|Jan 5, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

GeoDE 是一个地理上多样化的众包图像数据集，包含 61,940 幅图像，涵盖 40 种物体类别和六个世界区域，旨在揭示物体识别模型中的地理偏差。与网络爬取的数据集不同，该数据集不包含任何个人身份信息，确保内容创作者获得报酬，并在用于训练时，使模型在区域基准测试中的性能最高提升 20.9%。

ABSTRACT

Current dataset collection methods typically scrape large amounts of data from the web. While this technique is extremely scalable, data collected in this way tends to reinforce stereotypical biases, can contain personally identifiable information, and typically originates from Europe and North America. In this work, we rethink the dataset collection paradigm and introduce GeoDE, a geographically diverse dataset with 61,940 images from 40 classes and 6 world regions, with no personally identifiable information, collected by soliciting images from people around the world. We analyse GeoDE to understand differences in images collected in this manner compared to web-scraping. We demonstrate its use as both an evaluation and training dataset, allowing us to highlight and begin to mitigate the shortcomings in current models, despite GeoDE's relatively small size. We release the full dataset and code at https://geodiverse-data-collection.cs.princeton.edu

研究动机与目标

• 通过创建在六个全球区域间实现均衡代表性的数据集，解决物体识别模型中的地理偏差问题。
• 开发一种避免网络爬取方法缺陷的数据集收集方式，例如刻板印象偏差和非西方地区代表性不足的问题。
• 通过获取明确授权、补偿内容创作者并消除个人身份信息，确保数据收集的伦理合规性。
• 在多样化地理区域中评估模型性能，并识别受地理偏差影响最大的类别。
• 证明即使是一个小型、精心筛选的数据集（如 GeoDE），在用于训练时也能显著提升模型的泛化能力。

提出的方法

• GeoDE 通过 Appen 的付费众包方式收集，参与者被指示在其本地环境中拍摄特定物体类别的照片。
• 通过在六个区域（非洲、美洲、东亚、欧洲、东南亚和西亚）之间均匀分配图像，确保地理上的平衡。
• 所有图像均经过人工标注和验证，以确保类别准确性和一致性，且无图像包含人脸或其他 PII。
• 已为所有图像获得版权所有权，内容创作者获得了公平补偿。
• 该数据集既用作评估集以衡量区域性能，也用作训练数据增强以提升模型泛化能力。
• 通过在 GeoDE 的测试集和 DollarStreet 上的准确率与平均精度（AP）进行评估，并与在 ImageNet 及其他基线数据集上训练的模型进行比较。

实验结果

研究问题

• RQ1 当在一个地理上平衡的数据集上评估时，模型性能在不同地理区域之间如何变化？
• RQ2 在训练数据中包含 GeoDE 时，模型在代表性不足区域的泛化能力提升程度如何？
• RQ3 与网络爬取相比，众包收集方法对图像分布和模型性能有何影响？
• RQ4 在使用区域特定的 GeoDE 数据训练时，哪些物体类别表现出最大的性能提升？
• RQ5 一个小型、伦理化收集的数据集（如 GeoDE）是否能在检测常见物体的区域差异方面超越更大规模的网络爬取数据集？

主要发现

• 在 ImageNet 训练中加入 GeoDE 数据后，模型在 DollarStreet 基准上的准确率提升了 9.0%，在 GeoDE 测试集上的准确率提升了 20.9%。
• 在非洲、东亚和东南亚地区，使用 GeoDE 训练的模型表现出更大的相对性能提升，表明区域特定数据带来了显著的区域收益。
• 在多个区域中，'香料'、'垃圾容器'、'清洁设备'和'垃圾桶'等物体的平均精度（AP）提升最为显著。
• 随着 GeoDE 数据量的增加，性能增益并未趋于饱和，表明通过引入更多样化的区域数据，仍可实现持续改进。
• GeoDE 中的图像表现出与网络爬取数据集不同的特征分布，表明数据收集方法本身会影响模型的泛化能力。
• 该数据集在区域和类别分布上的平衡性，以及其伦理化的数据来源，使其成为减少地理偏差的网络爬取数据集的可行替代方案。