[论文解读] Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting

Guangxing Han, Long Chen+4 more|arXiv (Cornell University)|Apr 16, 2022

Domain Adaptation and Few-Shot Learning被引用 9

一句话总结

本文提出了一种基于元学习的跨模态提示框架，用于多模态少样本目标检测（FSOD），该框架在无需微调的情况下结合了少样本视觉样本和类别语义信息。通过知识蒸馏从支持图像生成软提示，该方法即使在没有人工提供类别名称的情况下，也能为新类别学习到可泛化的检测器，在 PASCAL VOC 和 MSCOCO 基准上实现了最先进性能。

ABSTRACT

We study multi-modal few-shot object detection (FSOD) in this paper, using both few-shot visual examples and class semantic information for detection, which are complementary to each other by definition. Most of the previous works on multi-modal FSOD are fine-tuning-based which are inefficient for online applications. Moreover, these methods usually require expertise like class names to extract class semantic embedding, which are hard to get for rare classes. Our approach is motivated by the high-level conceptual similarity of (metric-based) meta-learning and prompt-based learning to learn generalizable few-shot and zero-shot object detection models respectively without fine-tuning. Specifically, we combine the few-shot visual classifier and text classifier learned via meta-learning and prompt-based learning respectively to build the multi-modal classifier and detection models. In addition, to fully exploit the pre-trained language models, we propose meta-learning-based cross-modal prompting to generate soft prompts for novel classes present in few-shot visual examples, which are then used to learn the text classifier. Knowledge distillation is introduced to learn the soft prompt generator without using human prior knowledge of class names, which may not be available for rare classes. Our insight is that the few-shot support images naturally include related context information and semantics of the class. We comprehensively evaluate the proposed multi-modal FSOD models on multiple few-shot object detection benchmarks, achieving promising results.

研究动机与目标

• 为解决基于微调的少样本目标检测在在线应用中的效率低下问题。
• 实现在无需人工提供类别名称的情况下进行少样本目标检测，尤其适用于罕见或未见类别。
• 统一基于度量的元学习与基于提示的学习，利用视觉和语义输入实现多模态 FSOD。
• 通过知识蒸馏，仅从少样本支持图像中生成与类别无关的软跨模态提示。
• 在推理过程中无需参数更新，实现强大的少样本泛化能力。

提出的方法

• 利用元学习训练一个少样本视觉分类器，使其在不进行微调的情况下能够泛化于基础类别和新类别。
• 使用基于提示的学习方法，结合预训练的视觉-语言模型，构建用于零样本泛化的文本分类器。
• 提出基于元学习的跨模态提示方法，从少样本视觉支持图像中生成新类别的软提示。
• 采用知识蒸馏训练软提示生成器，而无需依赖人工标注的类别名称。
• 将视觉分类器和文本分类器融合为一个多模态检测头，实现联合推理。
• 采用双分支架构：一个用于元学习的视觉度量学习，一个用于基于提示的文本分类，实现跨模态对齐。

实验结果

研究问题

• RQ1 元学习与基于提示的学习能否有效结合，实现在无需微调情况下的少样本目标检测？
• RQ2 能否仅从少样本视觉样本中生成软跨模态提示，而无需类别名称的监督？
• RQ3 当缺乏人工提供的类别名称时，知识蒸馏是否能实现有效的软提示生成？
• RQ4 所提出的方法能否在类别名称不可用的情况下泛化到罕见或未见类别？
• RQ5 与基于微调的 SOTA 方法（如 DeFRCN）相比，该方法在少样本设置下的表现如何？

主要发现

• 所提方法在 PASCAL VOC 和 MSCOCO 少样本目标检测基准上均实现了最先进性能，且无需任何微调。
• 在具有挑战性的 MSCOCO 1-shot 设置下，仅使用元学习的模型优于未使用 PCB 模块的 DeFRCN，展现出强大的泛化能力。
• 该方法在 MSCOCO 1-shot 设置下达到 22.2 mAP，在 5-shot 设置下达到 18.7 mAP，优于以往的多模态 FSOD 方法。
• 将该方法与使用 PCB 模块的 DeFRCN 融合后，在所有样本数和指标上均实现了稳定提升。
• 基于知识蒸馏的软提示生成器在无人工类别名称的情况下仍能实现有效的提示生成，这对罕见类别至关重要。
• 消融实验证实，跨模态提示和知识蒸馏是该方法性能与泛化能力的关键因素。