[论文解读] CAT: Cross-Attention Transformer for One-Shot Object Detection

Weidong Lin, Yuyan Deng+6 more|arXiv (Cornell University)|Apr 30, 2021

Advanced Neural Network Applications参考文献 22被引用 8

一句话总结

该论文提出了一种用于少样本目标检测的交叉注意力变换器（CAT）模块，通过双流变换器建模查询图像与目标图像之间的双向、网格级对应关系，提升了语义相似度比较效果。该方法在 COCO、VOC 和 FSOD 基准上实现了最先进（SOTA）的准确率，同时推理速度接近 CoAE 的 2.5 倍，得益于高效的特征压缩而未造成性能损失。

ABSTRACT

Given a query patch from a novel class, one-shot object detection aims to detect all instances of that class in a target image through the semantic similarity comparison. However, due to the extremely limited guidance in the novel class as well as the unseen appearance difference between query and target instances, it is difficult to appropriately exploit their semantic similarity and generalize well. To mitigate this problem, we present a universal Cross-Attention Transformer (CAT) module for accurate and efficient semantic similarity comparison in one-shot object detection. The proposed CAT utilizes transformer mechanism to comprehensively capture bi-directional correspondence between any paired pixels from the query and the target image, which empowers us to sufficiently exploit their semantic characteristics for accurate similarity comparison. In addition, the proposed CAT enables feature dimensionality compression for inference speedup without performance loss. Extensive experiments on COCO, VOC, and FSOD under one-shot settings demonstrate the effectiveness and efficiency of our method, e.g., it surpasses CoAE, a major baseline in this task by 1.0% in AP on COCO and runs nearly 2.5 times faster. Code will be available in the future.

研究动机与目标

• 为解决在少样本目标检测中仅用一个标注样本检测新物体类别所面临的挑战。
• 在极端类别不平衡和外观差异较大的情况下，提升查询图像与目标图像之间的语义相似度比较能力。
• 开发一种轻量化、高效且通用的模块，增强少样本检测的特征表示，同时不损失准确率。
• 与现有最先进方法相比，实现更优的检测性能与更快的推理速度。

提出的方法

• CAT 模块采用两条交错的变换器流，计算查询图像与目标图像的网格级特征之间的交叉注意力，从而在像素-图像块层面捕捉双向对应关系。
• 模型使用孪生主干网络（ResNet-50）分别提取查询图像与目标图像的共享特征，再输入 CAT 模块。
• 通过利用丰富的对应信息，CAT 模块实现了有效的特征维度压缩，将最终特征维度降低至 256，且未造成性能下降。
• 该框架集成于两阶段检测流程中：首先，CAT 基于查询-目标图像的对应关系增强特征；其次，区域建议网络与分类器完成目标检测与分类。
• 模型采用标准的少样本检测训练协议，COCO、VOC 和 FSOD 基准的数据划分保持一致。
• 超参数消融实验表明，将压缩后的特征维度 $d_m = 256$ 时，在准确率与速度之间实现了最佳平衡。

实验结果

研究问题

• RQ1 基于变换器的模块能否有效建模查询图像与目标图像之间的双向、网格级对应关系，从而提升少样本目标检测性能？
• RQ2 在监督信息有限且外观差异较大的情况下，所提出的 CAT 模块如何增强语义相似度比较？
• RQ3 在 CAT 处理后，特征维度可压缩到何种程度而不降低检测性能？
• RQ4 所提出的方法是否在准确率与推理速度两方面均优于现有最先进少样本检测器？
• RQ5 该模型在零样本与少样本设置下，从已见类别到未见类别的泛化能力如何？

主要发现

• 在 COCO 数据集上，所提方法相比重新实现的 CoAE 基线，平均 AP 提高 1.0%，AP50 提高 0.9%。
• 在 VOC 数据集上，模型在未见类别上的 mAP 提升 1.3 个百分点，泛化能力略优于 CoAE。
• 在 FSOD 数据集上，模型在新类别上的 AP 提高 1.7%，AP75 提高 2.5%，优于 CoAE。
• 模型在 NVIDIA RTX-2080Ti 上运行速度达 16.3 FPS，接近 CoAE 的 2.5 倍（CoAE 为 5.9 FPS），尽管使用了更小的特征维度。
• 消融实验确认，$d_m = 256$ 在准确率与推理速度之间提供了最佳平衡，$d_m = 1024$ 导致过拟合，$d_m = 128$ 导致 AP 下降 2 个百分点。
• 可视化结果表明，CAT 模块逐步优化注意力图，聚焦于与查询类别匹配的物体，证实其在增强语义对应关系中的作用。