[论文解读] Detection Transformer with Stable Matching

Shilong Liu, Tianhe Ren+9 more|arXiv (Cornell University)|Apr 10, 2023

Digital Media Forensic Detection被引用 5

一句话总结

本文解决了DETR类目标检测器在训练过程中因多个冲突优化路径导致的匹配不稳定问题。通过仅使用位置度量（如IoU）来监督正样本分类得分，作者提出了一种位置监督损失和位置调制代价，使ResNet-50在1×和2×训练设置下在COCO上的AP分别达到50.4和51.5，SOTA；使用Swin-Large主干网络时，AP达到63.8。

ABSTRACT

This paper is concerned with the matching stability problem across different decoder layers in DEtection TRansformers (DETR). We point out that the unstable matching in DETR is caused by a multi-optimization path problem, which is highlighted by the one-to-one matching design in DETR. To address this problem, we show that the most important design is to use and only use positional metrics (like IOU) to supervise classification scores of positive examples. Under the principle, we propose two simple yet effective modifications by integrating positional metrics to DETR's classification loss and matching cost, named position-supervised loss and position-modulated cost. We verify our methods on several DETR variants. Our methods show consistent improvements over baselines. By integrating our methods with DINO, we achieve 50.4 and 51.5 AP on the COCO detection benchmark using ResNet-50 backbones under 12 epochs and 24 epochs training settings, achieving a new record under the same setting. We achieve 63.8 AP on COCO detection test-dev with a Swin-Large backbone. Our code will be made available at https://github.com/IDEA-Research/Stable-DINO.

研究动机与目标

• 识别并解决DETR类模型中解码器各层之间的不稳定匹配问题。
• 分析不稳定性根源为因一对一匈牙利匹配导致的多优化路径问题。
• 提出一种系统性解决方案，仅依赖位置度量（如IoU）进行分类监督，确保每个真实样本具有单一且稳定的优化目标。
• 在不显著修改主干网络或模型架构的前提下，提升DETR变体的训练稳定性和性能。
• 在多个DETR变体上验证方法有效性，并在COCO基准上取得新的SOTA结果。

提出的方法

• 引入仅使用IoU分数监督正样本分类得分的位置监督损失，消除冲突的优化路径。
• 设计一种位置调制代价，根据IoU重加权匹配代价，使高重叠预测在二分图匹配中更具优势。
• 遵循仅位置度量应引导分类优化的原则，确保每个真实样本仅存在一条稳定优化路径。
• 将新损失与代价集成至现有DETR变体（如DINO）中，仅做最小程度的架构修改。
• 采用密集记忆融合机制，增强编码器与主干特征之间的特征交互。
• 使用标准训练设置端到端训练模型，并在COCO目标检测基准上进行评估。

实验结果

研究问题

• RQ1 DETR类模型中解码器各层之间的不稳定匹配由何原因引起？
• RQ2 为何DETR中的一对一匹配策略会导致冲突的优化路径？
• RQ3 是否仅通过位置度量进行监督即可稳定训练过程并提升性能？
• RQ4 与DETR设置中现有的损失设计（如Focal Loss或任务对齐损失）相比，所提方法表现如何？
• RQ5 该方法在不同主干网络架构和训练设置下，性能提升的幅度有多大？

主要发现

• 所提位置监督损失与位置调制代价在ResNet-50主干、1×训练设置（12个周期）下于COCO上实现50.4 AP，创下新SOTA。
• 在ResNet-50主干、2×训练设置（24个周期）下，AP达到51.5，同样为该设置下的新SOTA。
• 采用Swin-Large主干时，方法在COCO测试开发集上达到63.8 AP，展现出强大的泛化能力。
• 消融实验表明，仅使用IoU进行分类监督可显著稳定训练并提升性能，而其他损失设计则导致性能下降。
• 该方法在多种DETR变体中均有效，且引入的计算开销极小。
• 密集记忆融合组件进一步增强了特征表示，对性能提升有显著贡献。