[论文解读] Cooperating RPN's Improve Few-Shot Object Detection

Weilin Zhang, Yu-Xiong Wang+1 more|arXiv (Cornell University)|Nov 19, 2020

Advanced Neural Network Applications参考文献 34被引用 17

一句话总结

该论文提出协作RPN（CoRPNs），一种集成方法，通过训练多个多样化且协作的区域建议网络，缓解少样本目标检测中的‘建议遗漏’问题——即单样本训练对象常被标准RPN遗漏。通过引入基于行列式对数的多样性损失和协作损失，CoRPNs 显著减少误检，并在PASCAL VOC第3个分割数据集上实现35.8 AP50的最先进性能，支持1-shot学习。

ABSTRACT

Learning to detect an object in an image from very few training examples - few-shot object detection - is challenging, because the classifier that sees proposal boxes has very little training data. A particularly challenging training regime occurs when there are one or two training examples. In this case, if the region proposal network (RPN) misses even one high intersection-over-union (IOU) training box, the classifier's model of how object appearance varies can be severely impacted. We use multiple distinct yet cooperating RPN's. Our RPN's are trained to be different, but not too different; doing so yields significant performance improvements over state of the art for COCO and PASCAL VOC in the very few-shot setting. This effect appears to be independent of the choice of classifier or dataset.

研究动机与目标

• 解决因罕见类别缺失高IoU建议框而导致少样本目标检测性能显著下降的问题。
• 识别并缓解‘建议遗漏’效应，即单个RPN因训练数据有限，无法为新类别报告高IoU框。
• 设计一种RPN集成方法，最大化稀有样本的建议覆盖范围，同时最小化误报率。
• 证明仅提升建议覆盖范围，而不改变分类器，即可在少样本检测中带来显著性能提升。
• 展示所提方法在不同数据集和分类器架构上的泛化能力。

提出的方法

• 在共享框架中联合训练多个RPN，共享主干网络，并基于RPN特征图之间相关矩阵的行列式对数设计多样性损失。
• 引入协作损失，促使RPN在相同图像区域上就高IoU建议框达成一致，减少冗余性，同时保持覆盖范围。
• 采用阈值化协作损失，通过超参数φ控制建议覆盖范围与误报率之间的权衡。
• 在训练阶段使用RPN集成生成分类器的建议框，并对所有RPN生成的建议框进行联合微调。
• 推理阶段冻结RPN，并使用非极大值抑制（NMS）优化最终检测结果。
• 通过结合分类、定位、多样性与协作损失的多任务损失函数优化集成模型。

实验结果

研究问题

• RQ1 当仅有一两个训练样本时，建议遗漏效应是否显著降低少样本目标检测的性能？
• RQ2 通过受控的多样性和协作性训练多个RPN，能否提升稀有目标类别的建议覆盖范围？
• RQ3 所提出的多样性与协作损失机制相较于朴素RPN集成或已有多样性方法，在减少误报方面表现如何？
• RQ4 在少样本检测中，为平衡覆盖范围与误报率，RPN的最优数量是多少？
• RQ5 CoRPNs的性能增益是否在不同数据集和分类器架构上均保持有效？

主要发现

• 在PASCAL VOC第3个分割数据集上，CoRPNs在1-shot学习下实现35.8的新型类AP50，显著优于此前最先进方法（TFA）的28.9。
• 协作损失将平均误报前景框数量从TFA的3.1降低至CoRPNs（φ = 0.9时）的0.8，表明建议覆盖能力显著提升。
• NMS后平均前景样本数从TFA的18.6提升至CoRPNs（φ = 0.1时）的22.3，显示检测可靠性增强。
• 使用2个RPN的所提方法（35.8 AP50）优于5个RPN的朴素集成（34.8 AP50），证明受控协作的有效性。
• 行列式对数多样性损失优于基于成对余弦相似度的多样性方法（35.8 vs. 32.4 AP50），证明其在促进有效多样性方面的优越性。
• 最优RPN数量因数据集划分而异，性能在2–4个RPN时达到峰值，随后因误报增加而下降。