[论文解读] Few-shot Object Detection on Remote Sensing Images

Jingyu Deng, Xiang Li+1 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Neural Network Applications参考文献 58被引用 7

一句话总结

本文提出了一种用于遥感图像的 few-shot 目标检测方法，通过元学习技术，仅使用少量标注样本即可检测新型目标类别。通过集成元特征提取器、用于自适应特征融合的重加权模块以及基于多尺度 YOLOv3 的检测器，该模型在未见类别上实现了强大的泛化能力，在 NWPU VHR-10 数据集上，即使每类仅使用 20 张样本，其性能也优于标准 YOLOv3。

ABSTRACT

In this paper, we deal with the problem of object detection on remote sensing images. Previous methods have developed numerous deep CNN-based methods for object detection on remote sensing images and the report remarkable achievements in detection performance and efficiency. However, current CNN-based methods mostly require a large number of annotated samples to train deep neural networks and tend to have limited generalization abilities for unseen object categories. In this paper, we introduce a few-shot learning-based method for object detection on remote sensing images where only a few annotated samples are provided for the unseen object categories. More specifically, our model contains three main components: a meta feature extractor that learns to extract feature representations from input images, a reweighting module that learn to adaptively assign different weights for each feature representation from the support images, and a bounding box prediction module that carries out object detection on the reweighted feature maps. We build our few-shot object detection model upon YOLOv3 architecture and develop a multi-scale object detection framework. Experiments on two benchmark datasets demonstrate that with only a few annotated samples our model can still achieve a satisfying detection performance on remote sensing images and the performance of our model is significantly better than the well-established baseline models.

研究动机与目标

• 解决遥感图像目标检测中新型目标类别标注数据有限的挑战。
• 克服深度学习模型在少量样本上训练时出现的过拟合与泛化能力差的问题。
• 在极少监督条件下，实现从基础类别到新型类别的有效知识迁移。
• 开发一种专为遥感图像中固有的尺度变化与结构多样性设计的 few-shot 检测框架。
• 首次将 few-shot 目标检测问题在遥感领域形式化为元学习问题并加以解决。

提出的方法

• 提出一种基于 YOLOv3 的 few-shot 目标检测模型（FSODM），采用多尺度结构以应对遥感图像中的尺度变化。
• 采用元特征提取器，从新型类别的支持图像中学习判别性表征。
• 引入重加权模块，根据支持图像特征与查询图像的相关性，自适应地分配注意力权重。
• 使用边界框预测模块在重加权特征图上执行目标检测，实现精确的定位与分类。
• 在基础类别上端到端训练模型，以学习元知识，从而在推理阶段实现对新型类别的零样本泛化。
• 利用 t-SNE 可视化验证，所学习的重加权向量按类别聚集，证实了有效的类别感知特征表征。

实验结果

研究问题

• RQ1 基于 few-shot 学习的目标检测模型能否在仅使用少量标注样本的情况下，有效泛化到遥感图像中的新型目标类别？
• RQ2 所提出的重加权模块如何提升遥感图像中 few-shot 检测的特征表征学习能力？
• RQ3 来自基础类别的元知识在极少监督条件下，能在多大程度上传递给新型类别？
• RQ4 多尺度设计在应对遥感图像中多样的目标尺寸时，如何提升检测性能？
• RQ5 当在完整数据集上进行训练时，few-shot 模型的性能与标准 YOLOv3 相比如何？

主要发现

• 在 NWPU VHR-10 数据集上，仅使用 60 张样本（全训练集的 8%），所提出的 FSODM 模型在检测性能上可与在完整数据集上训练的 YOLOv3 相媲美。
• 在棒球场类别上，仅需 20 个标注样本，模型即可达到接近基线的性能，表明其在低变化目标上具有强大的泛化能力。
• 对于结构与尺寸变化较大的飞机类别，即使在 60 张样本下，模型仍能保持强劲性能，接近全数据集的基线水平。
• t-SNE 可视化结果表明，同一目标类别的重加权向量聚集在一起，证实了有效的类别感知特征学习。
• 在 DIOR 数据集上，模型在基础类别上保持了高 mAP（0.54），表明尽管进行了 few-shot 适应，性能未出现下降。
• 重加权模块显著提升了检测精度，尤其在支持样本数量较少时，通过聚焦于支持图像中最具判别性的特征实现优化。