[论文解读] Comparison Network for One-Shot Conditional Object Detection

Tengfei Zhang, Yue Zhang+5 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Neural Network Applications参考文献 47被引用 18

一句话总结

本文提出ComparisonNet，一种新颖的一次性条件目标检测框架，通过使用孪生网络提取查询和目标特征，将检测问题形式化为条件概率问题。通过在两阶段检测器中将这些特征与可学习度量进行比较，该方法在Fashion-MNIST和PASCAL VOC数据集上实现了零样本推理下未见类别的最先进性能，实现了无需训练的、与类别无关的目标检测，且避免了灾难性遗忘。

ABSTRACT

The current advances in object detection depend on large-scale datasets to get good performance. However, there may not always be sufficient samples in many scenarios, which leads to the research on few-shot detection as well as its extreme variation one-shot detection. In this paper, the one-shot detection has been formulated as a conditional probability problem. With this insight, a novel one-shot conditional object detection (OSCD) framework, referred as Comparison Network (ComparisonNet), has been proposed. Specifically, query and target image features are extracted through a Siamese network as mapped metrics of marginal probabilities. A two-stage detector for OSCD is introduced to compare the extracted query and target features with the learnable metric to approach the optimized non-linear conditional probability. Once trained, ComparisonNet can detect objects of both seen and unseen classes without further training, which also has the advantages including class-agnostic, training-free for unseen classes, and without catastrophic forgetting. Experiments show that the proposed approach achieves state-of-the-art performance on the proposed datasets of Fashion-MNIST and PASCAL VOC.

研究动机与目标

• 解决在缺乏足够训练样本的低数据环境下目标检测的挑战。
• 将一次性检测形式化为条件概率问题，以提升对未见类别的泛化能力。
• 开发一种无需训练的、与类别无关的检测方法，避免在推理过程中发生灾难性遗忘。
• 在不重新训练或微调的情况下，实现对已见和未见类别的零样本检测。

提出的方法

• 使用孪生网络提取并映射查询图像和目标图像的特征为边缘概率。
• 使用两阶段检测器将提取的特征与可学习度量进行比较，以近似非线性的条件概率。
• 端到端训练模型，以可学习度量优化查询与目标特征之间的比较。
• 利用学习到的度量在推理过程中检测已见和未见类别的物体，而无需额外训练。
• 通过将类别预测与特征嵌入学习解耦，确保与类别无关的检测。
• 设计框架以避免对新类别进行增量微调，从而对灾难性遗忘保持鲁棒性。

实验结果

研究问题

• RQ1 能否将一次性目标检测有效形式化为条件概率问题，以提升泛化能力？
• RQ2 如何利用孪生网络提取支持对已见和未见类别进行零样本检测的特征？
• RQ3 可学习度量是否能在不重新训练的情况下实现查询与目标特征之间的准确比较？
• RQ4 当检测先前未见过的类别时，所提出的框架是否能避免灾难性遗忘？
• RQ5 该框架在Fashion-MNIST和PASCAL VOC等基准数据集上的一次性条件下表现如何？

主要发现

• ComparisonNet在提出的Fashion-MNIST和PASCAL VOC一次性检测基准上实现了最先进性能。
• 模型在初始学习后无需任何进一步训练，即可成功检测已见和未见类别的物体。
• 该框架展示了与类别无关的检测能力，即在推理过程中无需类别特定的适应。
• 通过避免对新类别进行微调，该方法避免了灾难性遗忘，同时保持了对先前学习类别的性能。
• 使用可学习度量有效实现了查询与目标特征之间的比较，从而在低数据环境下提升了检测准确率。
• 两阶段检测器架构有效利用了孪生网络的特征嵌入，以建模检测任务中的复杂条件概率。