[论文解读] An Extendable, Efficient and Effective Transformer-based Object Detector

Hwanjun Song, Deqing Sun+6 more|arXiv (Cornell University)|Apr 17, 2022

Advanced Neural Network Applications被引用 11

一句话总结

该论文提出ViDT，一种完全基于Transformer的物体检测器，通过重构注意力模块（RAM）将视觉Transformer（ViT）与检测Transformer（DETR）相结合，实现线性复杂度和高效率。其在端到端Transformer检测器中实现了最优异的AP-延迟权衡，ViDT+在使用大参数量主干网络的情况下于COCO数据集上达到53.2的AP值，而最小模型变体仅需1400万参数。

ABSTRACT

Transformers have been widely used in numerous vision problems especially for visual recognition and detection. Detection transformers are the first fully end-to-end learning systems for object detection, while vision transformers are the first fully transformer-based architecture for image classification. In this paper, we integrate Vision and Detection Transformers (ViDT) to construct an effective and efficient object detector. ViDT introduces a reconfigured attention module to extend the recent Swin Transformer to be a standalone object detector, followed by a computationally efficient transformer decoder that exploits multi-scale features and auxiliary techniques essential to boost the detection performance without much increase in computational load. In addition, we extend it to ViDT+ to support joint-task learning for object detection and instance segmentation. Specifically, we attach an efficient multi-scale feature fusion layer and utilize two more auxiliary training losses, IoU-aware loss and token labeling loss. Extensive evaluation results on the Microsoft COCO benchmark dataset demonstrate that ViDT obtains the best AP and latency trade-off among existing fully transformer-based object detectors, and its extended ViDT+ achieves 53.2AP owing to its high scalability for large models. The source code and trained models are available at https://github.com/naver-ai/vidt.

研究动机与目标

• 解决Vision Transformers与Detection Transformers之间简单集成所导致的效率低下与可扩展性受限问题。
• 实现无需生成锚框或非极大值抑制的端到端物体检测器训练。
• 设计一种轻量化、高效的颈部架构，支持多尺度特征融合与辅助训练技术。
• 以极低的计算开销将检测器扩展至联合物体检测与实例分割任务。
• 仅使用1400万参数的最小模型变体，实现高精度与高推理速度之间的优异权衡。

提出的方法

• 提出重构注意力模块（RAM），使ViT变体（如Swin Transformer）能在单一注意力机制中同时处理图像块与检测标记，实现与图像尺寸呈线性复杂度的关系。
• 采用轻量化、无需编码器的颈部解码器，直接处理检测标记，并利用多尺度特征以提升表征学习能力。
• 引入辅助训练损失——IoU感知损失与标记标签损失，为每个检测头标记提供细粒度监督。
• 提出一种高效的多尺度特征融合模块（EPFF），以增强不同尺度下的特征表征能力。
• 通过添加特征金字塔与联合训练目标，将ViDT扩展为ViDT+，实现端到端的实例分割。
• 在推理阶段采用解码层丢弃策略，以极小的精度损失显著提升推理速度。

实验结果

研究问题

• RQ1 通过协同整合ViT与DETR架构，完全基于Transformer的物体检测器是否能同时实现高精度与低延迟？
• RQ2 如何降低注意力机制的计算复杂度，以实现具有线性复杂度的可扩展物体检测？
• RQ3 哪些辅助训练技术能有效提升检测性能，同时不增加推理成本？
• RQ4 统一架构是否能以极低的参数量与计算开销同时支持物体检测与实例分割？
• RQ5 哪些超参数选择（如检测标记数量、训练周期数、解码器层数）能实现最佳的精度-速度权衡？

主要发现

• 在COCO基准测试中，ViDT在现有完全基于Transformer的物体检测器中实现了最佳的平均精度（AP）与延迟权衡。
• 采用Swin-nano主干网络时，ViDT仅用1400万参数即实现了47.0 AP（框）的精度，同时保持了高推理速度。
• ViDT+在使用大参数量Swin-base主干网络时，于COCO数据集上达到53.2 AP（框），展现出对大模型的强大可扩展性。
• 将检测标记数量从100增加到300，可使AP（框）提升1.7–1.9个百分点，同时延迟增加微乎其微。
• 训练周期延长至150轮（为原周期的3倍）可使AP（框）提升2.2–2.4个百分点，且FPS未下降。
• 在推理阶段丢弃两个解码层，可使FPS提升10%以上，同时AP（框）仅出现轻微下降。