[论文解读] DEYOv2: Rank Feature with Greedy Matching for End-to-End Object Detection

Haodong Ouyang|arXiv (Cornell University)|Jun 15, 2023

Advanced Neural Network Applications被引用 5

一句话总结

DEYOv2 是一种新型的端到端目标检测器，通过引入排序特征（Rank Feature）和贪心匹配（Greedy Matching），消除了对 NMS 的依赖，实现了三个阶段的高效、渐进式优化。在使用 ResNet-50 的情况下，其在 COCO 上分别以 12 和 24 个训练周期达到了 51.1 AP 和 51.8 AP 的性能，相较于相同设置下的 DINO 模型分别高出 2.1 和 1.4 AP。

ABSTRACT

This paper presents a novel object detector called DEYOv2, an improved version of the first-generation DEYO (DETR with YOLO) model. DEYOv2, similar to its predecessor, DEYOv2 employs a progressive reasoning approach to accelerate model training and enhance performance. The study delves into the limitations of one-to-one matching in optimization and proposes solutions to effectively address the issue, such as Rank Feature and Greedy Matching. This approach enables the third stage of DEYOv2 to maximize information acquisition from the first and second stages without needing NMS, achieving end-to-end optimization. By combining dense queries, sparse queries, one-to-many matching, and one-to-one matching, DEYOv2 leverages the advantages of each method. It outperforms all existing query-based end-to-end detectors under the same settings. When using ResNet-50 as the backbone and multi-scale features on the COCO dataset, DEYOv2 achieves 51.1 AP and 51.8 AP in 12 and 24 epochs, respectively. Compared to the end-to-end model DINO, DEYOv2 provides significant performance gains of 2.1 AP and 1.4 AP in the two epoch settings. To the best of our knowledge, DEYOv2 is the first fully end-to-end object detector that combines the respective strengths of classical detectors and query-based detectors.

研究动机与目标

• 消除端到端目标检测中对非极大值抑制（NMS）的依赖，以提升训练稳定性和端到端优化能力。
• 解决基于查询的检测器在处理密集冗余提议时，因一对一标签分配导致的泛化能力差与训练不稳定性问题。
• 在统一的端到端框架中，有效结合经典检测器（如 YOLO）与基于查询的检测器（如 DETR）的优势。
• 通过引入三阶段渐进式推理流水线并实现阶段间的信息蒸馏，提升训练收敛速度与检测性能。

提出的方法

• 提出三阶段检测流水线：第一阶段从类似 YOLO 的头部预测中生成高质量的密集查询。
• 第二阶段采用贪心匹配，建立提议之间的得分差距，从而在无需 NMS 的情况下有效过滤冗余框。
• 第三阶段利用排序特征增强特征表示，并最大化前期阶段的信息流动，实现端到端优化。
• 采用混合查询策略，结合第一阶段的密集查询、第三阶段的稀疏查询以及一对多匹配机制，以提升模型鲁棒性与精度。
• 在所有阶段共享主干网络，以保持特征一致性并提升效率。
• 在最终阶段使用匈牙利损失进行一对一匹配，但通过前期阶段的查询过滤与得分分离，避免使用 NMS。

实验结果

研究问题

• RQ1 能否设计一种完全端到端的目标检测器，完全不依赖 NMS，同时保持或提升检测性能？
• RQ2 当面对密集且冗余的提议时，如何稳定基于 Transformer 的检测器中的一对一标签分配机制？
• RQ3 能否在单一统一框架中有效结合经典检测器（如 YOLO）与基于查询的检测器（如 DETR）的优势？
• RQ4 何种机制可实现在无后处理或 NMS 的前提下，实现阶段间的渐进式信息蒸馏？
• RQ5 贪心匹配与排序特征如何提升端到端检测中的训练稳定性和最终检测精度？

主要发现

• 在与基线模型相同设置下，DEYOv2 使用 ResNet-50 分别在 12 和 24 个训练周期内达到 51.1 AP 和 51.8 AP 的 COCO 性能。
• 在 12 和 24 个周期的设置下，分别较 DINO 模型高出 2.1 AP 和 1.4 AP，证明其具备更优的收敛速度与性能表现。
• 模型完全消除了对 NMS 的依赖，保留了端到端优化特性，并避免了后处理带来的信息损失。
• 消融实验证实，排序特征与贪心匹配显著提升了训练稳定性与性能，尤其在高提议密度场景下表现突出。
• 三阶段流水线有效实现了从密集查询到稀疏查询的信息传递，实现了无需中间过滤的高质量检测。
• 该模型是首个成功整合经典检测器与基于查询检测器优势的完全端到端检测器，且无需依赖如 NMS 等人工设计组件。