[论文解读] Less is More: Focus Attention for Efficient DETR

Dehua Zheng, Wenhui Dong+3 more|arXiv (Cornell University)|Jul 24, 2023

Advanced Neural Network Applications被引用 6

一句话总结

Focus-DETR 提出了一种双注意力机制，通过多尺度、自顶向下的评分策略，选择性地关注前景和细粒度目标标记，实现了在 COCO 上 50.4 AP 的性能，查询数量减少 30%，计算成本与当前最先进稀疏 DETR 模型相当，显著改善了效率与准确率之间的权衡。

ABSTRACT

DETR-like models have significantly boosted the performance of detectors and even outperformed classical convolutional models. However, all tokens are treated equally without discrimination brings a redundant computational burden in the traditional encoder structure. The recent sparsification strategies exploit a subset of informative tokens to reduce attention complexity maintaining performance through the sparse encoder. But these methods tend to rely on unreliable model statistics. Moreover, simply reducing the token population hinders the detection performance to a large extent, limiting the application of these sparse models. We propose Focus-DETR, which focuses attention on more informative tokens for a better trade-off between computation efficiency and model accuracy. Specifically, we reconstruct the encoder with dual attention, which includes a token scoring mechanism that considers both localization and category semantic information of the objects from multi-scale feature maps. We efficiently abandon the background queries and enhance the semantic interaction of the fine-grained object queries based on the scores. Compared with the state-of-the-art sparse DETR-like detectors under the same setting, our Focus-DETR gets comparable complexity while achieving 50.4AP (+2.2) on COCO. The code is available at https://github.com/huawei-noah/noah-research/tree/master/Focus-DETR and https://gitee.com/mindspore/models/tree/master/research/cv/Focus-DETR.

研究动机与目标

• 为解决标准 DETR 编码器计算成本高的问题，其对所有标记一视同仁，缺乏区分度。
• 克服现有稀疏 DETR 方法依赖不可靠注意力图进行标记选择的局限。
• 通过选择性增强细粒度目标查询并减少背景标记处理，提升检测准确率。
• 通过稳健的多层级标记评分机制，实现模型效率与准确率之间的更好平衡。
• 设计级联式双注意力编码器，在计算开销极小的前提下提升特征精炼能力。

提出的方法

• 引入前景标记选择器（FTS），利用可学习标签和多尺度特征图，基于定位和类别语义对标记进行评分。
• 采用自顶向下的分数调制，高层特征分数用于优化低层前景概率预测，提升选择可靠性。
• 设计多类别分数预测器，联合评估前景可能性与语义特异性，实现细粒度标记选择。
• 重构编码器为双注意力结构：一个用于剪枝背景后的前景标记，另一个用于增强细粒度查询，以改善长距离特征交互。
• 在编码器层间采用级联结构，逐步减少前景标记数量，同时保持容错能力和性能。
• 仅将解码器的交叉注意力图作为弱监督信号，不再依赖其进行标记选择，转而采用更稳健的多尺度语义评分机制。

实验结果

研究问题

• RQ1 多尺度、自顶向下的评分机制能否提升稀疏 DETR 模型中标记选择的可靠性？
• RQ2 通过语义感知评分聚焦细粒度目标标记，能否在不增加计算成本的前提下提升检测准确率？
• RQ3 在选择性标记处理下，编码器中的双注意力机制如何改善特征表示？
• RQ4 级联式标记剪枝策略能否在逐步减少活跃标记数量的同时保持性能？
• RQ5 与当前最先进稀疏 DETR 模型相比，该方法在准确率、计算成本和鲁棒性方面表现如何？

主要发现

• Focus-DETR 在 COCO 上实现 50.4 AP，相比基线 Deformable DETR 提升 +2.2 AP，且仅使用原始查询数量的 30%。
• 在 128 GFLOPs 下，Focus-DETR 相比 Sparse DETR 提升 +2.7 AP，相比 DINO 采用 Sparse DETR 策略的模型提升 +1.4 AP，计算预算相近。
• 双注意力机制贡献 +0.8 AP，证明增强的细粒度标记交互显著提升检测性能。
• 自顶向下的分数调制策略相比自底向上的调制提升 AP 0.2，验证了高层语义引导对低层选择的有效性。
• 编码器中的级联结构提升容错能力，并使性能提升 +0.5 AP，表明渐进式精炼具有显著优势。
• Focus-DETR 在保持高推理速度（128 GFLOPs 下 23.7 FPS）的同时实现 SOTA 准确率，证明其高效性与可扩展性。