[论文解读] Beyond Max-Margin: Class Margin Equilibrium for Few-shot Object Detection

Bohao Li, Boyu Yang+4 more|arXiv (Cornell University)|Mar 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 33被引用 9

一句话总结

本文提出了一种名为类边距均衡（Class Margin Equilibrium, CME）的新方法，用于少样本目标检测，通过平衡最大边距与最小边距目标，解决了特征表示与分类之间的冲突。CME 在基础训练中使用解耦分类头与类边距损失，并在微调阶段引入对抗性特征扰动，实现边距均衡，显著提升检测精度，在 Pascal VOC 和 MS-COCO 数据集上相较最先进方法最高提升达 5%。

ABSTRACT

Few-shot object detection has made substantial progressby representing novel class objects using the feature representation learned upon a set of base class objects. However,an implicit contradiction between novel class classification and representation is unfortunately ignored. On the one hand, to achieve accurate novel class classification, the distributions of either two base classes must be far away fromeach other (max-margin). On the other hand, to precisely represent novel classes, the distributions of base classes should be close to each other to reduce the intra-class distance of novel classes (min-margin). In this paper, we propose a class margin equilibrium (CME) approach, with the aim to optimize both feature space partition and novel class reconstruction in a systematic way. CME first converts the few-shot detection problem to the few-shot classification problem by using a fully connected layer to decouple localization features. CME then reserves adequate margin space for novel classes by introducing simple-yet-effective class margin loss during feature learning. Finally, CME pursues margin equilibrium by disturbing the features of novel class instances in an adversarial min-max fashion. Experiments on Pascal VOC and MS-COCO datasets show that CME significantly improves upon two baseline detectors (up to $3\sim 5\%$ in average), achieving state-of-the-art performance. Code is available at https://github.com/Bohao-Lee/CME .

研究动机与目标

• 解决少样本目标检测中分类的最大边距与表示的最小边距之间的隐含矛盾。
• 在统一框架中优化特征空间划分与新类重构。
• 通过平衡新类间分离性与类内紧凑性之间的权衡，实现边距均衡。
• 通过即插即用模块提升单阶段与两阶段检测器的少样本检测性能。

提出的方法

• CME 使用全连接层将定位特征与分类特征解耦，防止定位偏差扭曲类边距。
• 在基础训练中应用类边距损失，以最大化基础类别特征之间的距离，为新类别保留边距空间。
• 在微调阶段引入特征扰动模块，通过截断梯度图模拟对新类别特征的对抗性扰动。
• 扰动过程以极小-极大优化方式执行，增强类边距的鲁棒性与均衡性。
• 该方法可作为即插即用模块应用于现有检测器，提升单阶段与两阶段架构的性能。

实验结果

研究问题

• RQ1 在少样本目标检测中，如何平衡类间分离（最大边距）与类内紧凑（最小边距）的冲突目标？
• RQ2 对抗性特征正则化能否同时提升新类的表示能力与分类性能？
• RQ3 在基础训练中保留边距空间是否能提升新类的泛化能力？
• RQ4 边距均衡在多大程度上可超越现有最大边距或最小边距方法，提升少样本检测性能？

主要发现

• 在 Pascal VOC 数据集上，CME 在 1-shot 至 5-shot 设置下相较基线检测器平均提升 3.8%，5-shot 检测最高提升达 9.8%。
• 在 MS-COCO 数据集上，CME 相较最先进基线方法 MPSR，10-shot 时 AP 提升 5.3%，30-shot 时提升 2.8%。
• CME 在多种少样本设置下均优于最先进方法，包括 MetaDet、Meta R-CNN 和视角估计方法。
• CME 在单阶段与两阶段检测器中均表现出一致的性能增益，验证了其作为即插即用模块的泛化能力。
• 消融实验确认，类边距损失与特征扰动模块对实现边距均衡与性能提升均至关重要。