[论文解读] Closing the Generalization Gap in One-Shot Object Detection

Claudio Michaelis, Matthias Bethge+1 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 5

一句话总结

该论文表明，通过在训练过程中增加物体类别数量，几乎完全消除了少样本目标检测中的泛化差距，无需依赖复杂的度量学习方法，仅通过扩大类别多样性，即可将 COCO 数据集上的 AP50 从 22.0 提升至 27.5，同时将从已见类别到未见类别的零样本泛化性能从 45% 提升至 89%。

ABSTRACT

Despite substantial progress in object detection and few-shot learning, detecting objects based on a single example - one-shot object detection - remains a challenge. A central problem is the generalization gap: Object categories used during training are detected much more reliably than novel ones. We here show that this generalization gap can be nearly closed by increasing the number of object categories used during training. Doing so allows us to beat the state-of-the-art on COCO by 5.4 %AP50 (from 22.0 to 27.5) and improve generalization from seen to unseen classes from 45% to 89%. We verify that the effect is caused by the number of categories and not the amount of data and that it holds for different models, backbones and datasets. This result suggests that the key to strong few-shot detection models may not lie in sophisticated metric learning approaches, but instead simply in scaling the number of categories. We hope that our findings will help to better understand the challenges of few-shot learning and encourage future data annotation efforts to focus on wider datasets with a broader set of categories rather than gathering more samples per category.

研究动机与目标

• 解决少样本目标检测中长期存在的泛化差距问题，即模型在新类别上的表现显著劣于已见类别。
• 探究泛化差距是否源于每种类别的数据量不足，或训练过程中类别多样性不足。
• 确定增加训练类别数量是否能在不依赖复杂度量学习技术的前提下，提升零样本泛化性能。
• 评估所提方法在不同模型、主干网络和数据集上的鲁棒性，以确认研究结果的普适性。

提出的方法

• 在具有不断增加物体类别数量的数据集上训练少样本目标检测模型，以评估其对泛化性能的影响。
• 通过控制数据总量，确保总训练数据量保持不变，仅改变不同类别的数量。
• 使用标准的目标检测架构和标准训练协议，专注于类别多样性的影响，而非模型复杂度。
• 在已见类别和未见类别上评估性能，以衡量泛化差距及其减小程度。
• 在多个主干网络和数据集上比较结果，以验证该效应的一致性。
• 将零样本泛化性能定义为未见类别上的检测 AP 与已见类别上 AP 的比值。

实验结果

研究问题

• RQ1 在训练过程中增加物体类别数量是否能减少少样本目标检测中的泛化差距？
• RQ2 泛化性能的提升是源于类别数量而非总训练数据量吗？
• RQ3 该现象是否在不同模型架构和主干网络上均成立？
• RQ4 这种简单的缩放策略能否超越依赖复杂度量学习的最先进方法？
• RQ5 类别多样性在多大程度上提升了从已见类别到未见类别的零样本泛化能力？

主要发现

• 增加训练类别数量可显著减小少样本目标检测中的泛化差距。
• 该方法将 COCO 上的 AP50 从 22.0 提升至 27.5，相较于之前最先进方法提升了 5.4 个百分点。
• 从已见类别到未见类别的零样本泛化性能从 45% 提升至 89%。
• 通过受控的消融实验表明，性能提升归因于类别数量而非数据总量。
• 该效应在不同模型、主干网络和数据集上均保持一致，表明其具有广泛适用性。
• 结果表明，扩大类别多样性可能比复杂度量学习在少样本检测中更为有效。