[论文解读] Enhanced Training of Query-Based Object Detection via Selective Query Recollection

Fangyi Chen, Han Zhang+4 more|arXiv (Cornell University)|Dec 15, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出选择性查询重忆（Selective Query Recollection, SQR），一种训练策略，通过选择性地将早期解码阶段的中间查询转发至后续阶段，提升基于查询的目标检测器性能，缓解级联误差并增强对后期阶段的训练关注。SQR 在不改变推理速度的前提下，使 Adamixer、DAB-DETR 和 Deformable-DETR 等多个模型的 AP 提升 1.4–2.8 个百分点。

ABSTRACT

This paper investigates a phenomenon where query-based object detectors mispredict at the last decoding stage while predicting correctly at an intermediate stage. We review the training process and attribute the overlooked phenomenon to two limitations: lack of training emphasis and cascading errors from decoding sequence. We design and present Selective Query Recollection (SQR), a simple and effective training strategy for query-based object detectors. It cumulatively collects intermediate queries as decoding stages go deeper and selectively forwards the queries to the downstream stages aside from the sequential structure. Such-wise, SQR places training emphasis on later stages and allows later stages to work with intermediate queries from earlier stages directly. SQR can be easily plugged into various query-based object detectors and significantly enhances their performance while leaving the inference pipeline unchanged. As a result, we apply SQR on Adamixer, DAB-DETR, and Deformable-DETR across various settings (backbone, number of queries, schedule) and consistently brings 1.4-2.8 AP improvement.

研究动机与目标

• 探究为何基于查询的目标检测器在中间阶段预测正确的情况下，仍可能在最终解码阶段出现误判。
• 识别出两个关键局限：对后期解码阶段的训练关注不足，以及顺序优化带来的级联误差。
• 设计一种训练策略，以增强对后期阶段的监督并减少误差传播。
• 开发一种即插即用的解决方案，在不修改推理流程的前提下提升性能。
• 探索通过密集查询重忆与循环机制实现模型压缩，实现解码阶段间的参数共享。

提出的方法

• SQR 在训练过程中逐步收集所有先前解码阶段的中间查询。
• 它仅将前两个阶段的查询选择性地转发至每个下游阶段，形成类似斐波那契的监督增长模式。
• 每个阶段独立处理原始查询与重忆查询，支持独立的注意力计算与损失计算。
• 该方法在推理时保持原始的顺序解码结构，确保无速度损失。
• 在模型压缩方面，SQR 扩展为 DQRR，通过在训练中将最终解码阶段的输出反馈作为输入，实现其迭代重用。
• 最终模型在推理时仅使用一个共享阶段，使模型大小减少 70%，同时保持高精度。

Figure 1 : The inference speed and AP for various networks on the MS-COCO val set. The red stars are the results trained with SQR. The blue circles are the results of baselines without SQR. SQR enhances the training of query-based object detectors while leaving the inference pipeline unchanged.

实验结果

研究问题

• RQ1 为何基于查询的目标检测器在早期阶段预测正确的情况下，仍可能在最终解码阶段性能下降？
• RQ2 解码阶段的顺序结构如何在训练过程中导致级联误差？
• RQ3 能否在不改变推理过程的前提下，通过增强对后期阶段的监督来改进训练？
• RQ4 选择哪些中间查询进行重忆才能在性能与计算成本之间取得最佳平衡？
• RQ5 密集查询重忆是否能实现解码阶段间的参数共享，从而减小模型尺寸？

主要发现

• SQR 在多个基于查询的检测器（包括 Adamixer、DAB-DETR 和 Deformable-DETR）上实现了 1.4–2.8 个百分点的 AP 提升，适用于多种训练设置。
• 在 Adamixer-R50 模型上，使用 100 个查询和 12 个训练周期，SQR 将 AP 从 42.5 提升至 44.4（+1.9）。
• 在 7 个解码阶段下，SQR 将 Adamixer-R50 的 AP 从 45.1 提升至 48.9（+3.8），将 Adamixer-R101 的 AP 从 47.6 提升至 49.8（+2.2）。
• SQR 在不同主干网络（R50、R101、Swin-B）、不同查询数量（100–300）以及不同训练周期（12e、36e、50e）下均表现出一致的性能提升。
• DQRR 变体通过密集查询重忆与循环机制，使模型大小减少 70%（从 1.6GB 降至 513MB），仅使用 5 个共享阶段即达到 42.8 AP，优于原始 6 阶段模型（42.5 AP）。
• 选择性重忆策略（仅转发前两个阶段的查询）在性能上优于完全重忆，同时将计算成本降低一半。

Figure 2 : Are query-based object detectors always enhancing predictions stage-by-stage? The traffic light at stage 1 gets a confident score of 0.41, while from stage 2 to 5 the confidence gradually decreases to 0.21 (Upper); the remote at stage 3 was wrongly classified as a cell phone, and from sta