[论文解读] Few-Shot Learning for Road Object Detection

Anay Majee, Kshitij Agrawal+1 more|arXiv (Cornell University)|Jan 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用 13

一句话总结

本论文提出了一种基于印度驾驶数据集（IDD）的少样本目标检测框架，用于真实道路驾驶场景，比较了度量学习（FsDet）与元学习方法。结果表明，采用余弦相似度的度量学习在同域划分上比元学习高出11.2 mAP，开放集划分上高出1.0 mAP，凸显其在低数据、类别不平衡的道路目标检测中的优越性。

ABSTRACT

Few-shot learning is a problem of high interest in the evolution of deep learning. In this work, we consider the problem of few-shot object detection (FSOD) in a real-world, class-imbalanced scenario. For our experiments, we utilize the India Driving Dataset (IDD), as it includes a class of less-occurring road objects in the image dataset and hence provides a setup suitable for few-shot learning. We evaluate both metric-learning and meta-learning based FSOD methods, in two experimental settings: (i) representative (same-domain) splits from IDD, that evaluates the ability of a model to learn in the context of road images, and (ii) object classes with less-occurring object samples, similar to the open-set setting in real-world. From our experiments, we demonstrate that the metric-learning method outperforms meta-learning on the novel classes by (i) 11.2 mAP points on the same domain, and (ii) 1.0 mAP point on the open-set. We also show that our extension of object classes in a real-world open dataset offers a rich ground for few-shot learning studies.

研究动机与目标

• 解决在标注数据有限、类别不平衡的真实驾驶场景中少样本目标检测的挑战。
• 在真实场景下评估少样本学习方法，包括同域和开放集场景，使用印度驾驶数据集（IDD）。
• 通过将代表性不足的车辆类别重新分类，扩展IDD数据集，以创建更适合少样本学习的基准。
• 比较度量学习与元学习方法在仅用少量训练样本检测稀有道路物体时的性能。
• 研究在自动驾驶应用中，少样本检测的类别混淆与灾难性遗忘的影响。

提出的方法

• 使用重新分类的‘vehicle-fallback’类别（如手推车、拖拉机、洒水车）的印度驾驶数据集（IDD），将其划分为新颖的低频物体类别。
• 采用基于度量学习的方法FsDet，使用ResNet-101主干网络、特征金字塔网络（FPN）及基于余弦的相似度进行特征匹配。
• 应用基于元学习的方法，包括Meta-RCNN、Meta-Reweight和Add-Info，采用支持集与查询集的元训练策略，设置为N-way、K-shot。
• 所有模型分两个阶段训练：首先在10个基础类别上进行基础训练（每类2000张图像），随后在10-shot的新类别上进行微调。
• 所有主干网络均使用标准数据增强（水平翻转、随机裁剪）和ImageNet预训练权重。
• 在验证划分上使用mAP@50评估性能，包括IDD-10（同域）和IDD-OS（开放集）划分，其中包含10个基础类别和4个新类别。

实验结果

研究问题

• RQ1 在类别不平衡的真实驾驶数据集上，度量学习与元学习方法在少样本目标检测中的表现如何比较？
• RQ2 当模型适应新的低频道路物体类别时，少样本检测模型在基础类别上的性能是否会下降？
• RQ3 视觉上相似的道路物体（如卡车与汽车、自行车与摩托车）之间的类别混淆在多大程度上影响少样本检测性能？
• RQ4 像IDD这样扩展了类别标签的真实世界开放集数据集，能否作为少样本目标检测研究的可行基准？
• RQ5 在自动驾驶场景中，特征相似度学习与元优化对新类别检测准确率的影响分别是什么？

主要发现

• 在同域IDD-10划分上，基于度量学习的FsDet模型在新类别检测中比元学习方法高出11.2 mAP。
• 在开放集IDD-OS划分上，FsDet在新类别上比元学习基线高出1.0 mAP，表明其性能持续占优。
• 元学习模型（如Meta-RCNN和Add-Info）在基础类别上的性能显著下降（最高下降15%），而FsDet保持了稳定的基类mAP。
• 类别混淆是主要挑战：高达40%的预测在视觉相似类别间被错误分类，如卡车与汽车、洒水车与汽车之间。
• 在预测头中引入额外特征可减少元学习模型的性能下降，表明网络架构设计对模型稳定性有重要影响。
• 扩展后的IDD-OS数据集（含4个新类别）提供了一个真实、开放集的基准，适用于未来自动驾驶领域的少样本学习研究。