[论文解读] DATE: Dual Assignment for End-to-End Fully Convolutional Object Detection

Yiqun Chen, Qiang Chen+2 more|arXiv (Cornell University)|Nov 25, 2022

Advanced Neural Network Applications被引用 5

一句话总结

本文提出 DATE（Dual Assignment for End-to-End Fully Convolutional Object Detection），一种通过联合训练一个 one-to-many 分配分支以提供额外监督信号，从而加速基于 one-to-one 分配的端到端检测器收敛的方法。该方法实现了更快的收敛速度和具有竞争力的性能——在 36 个 epoch 时超越 FCOS（40.6 AP vs. 39.8 AP），且训练开销可忽略不计，无推理成本。

ABSTRACT

Fully convolutional detectors discard the one-to-many assignment and adopt a one-to-one assigning strategy to achieve end-to-end detection but suffer from the slow convergence issue. In this paper, we revisit these two assignment methods and find that bringing one-to-many assignment back to end-to-end fully convolutional detectors helps with model convergence. Based on this observation, we propose {\em extbf{D}ual extbf{A}ssignment} for end-to-end fully convolutional de extbf{TE}ction (DATE). Our method constructs two branches with one-to-many and one-to-one assignment during training and speeds up the convergence of the one-to-one assignment branch by providing more supervision signals. DATE only uses the branch with the one-to-one matching strategy for model inference, which doesn't bring inference overhead. Experimental results show that Dual Assignment gives nontrivial improvements and speeds up model convergence upon OneNet and DeFCN. Code: https://github.com/YiqunChen1999/date.

研究动机与目标

• 解决使用 one-to-one 分配的端到端全卷积检测器收敛缓慢的问题，因其正样本较少且监督信号较弱。
• 在训练过程中重新引入 one-to-many 分配，以增强监督信号，同时不破坏 NMS-free 推理特性。
• 提出一种轻量级双分支训练策略，仅在推理时保留 one-to-one 分配分支，确保无运行时开销。
• 在相同训练设置下，实现与或优于基于 NMS 的检测器（如 FCOS）的性能。
• 证明所提方法与网络架构正交，可兼容多种主干网络设计。

提出的方法

• 训练两个并行分支：一个使用 one-to-many 分配（用于监督），一个使用 one-to-one 分配（用于最终推理）。
• 利用 one-to-many 分支在训练期间提供额外的分类与回归监督信号，以改善特征提取器的学习。
• 通过仅使用两到三层卷积层（例如基于 FCOS）构建 one-to-many 分支，最大限度减少额外参数和 FLOPs。
• 训练完成后，丢弃 one-to-many 分支，仅使用 one-to-one 分配分支进行推理，保持端到端与 NMS-free 检测。
• 采用加权损失方案，其中 one-to-many 分支可通过超参数 λo2m 进行缩放，以平衡监督强度。
• 可选地解耦两个子网络（例如，针对 RetinaNet 风格的分支），尽管这会略微增加训练成本，但可提升精度。

实验结果

研究问题

• RQ1 在 one-to-one 分配基础上的端到端检测器训练中，重新引入 one-to-many 分配是否能提升收敛速度？
• RQ2 one-to-many 分配带来的额外监督是否能在不增加推理成本的前提下提升性能？
• RQ3 与标准 one-to-one 或 one-to-many 基线相比，双分支训练策略对最终检测精度有何影响？
• RQ4 在两个分支之间共享或不共享主干子网络，对性能和计算成本有何影响？
• RQ5 在相同训练设置下，该方法能否实现与基于 NMS 的检测器（如 FCOS）相当或更优的性能？

主要发现

• DATE 在 12 个 epoch 后达到 37.3 AP，超过 FCOS（37.2 AP）和 OneNet（35.4 AP），证明 one-to-one 分配下收敛速度更快。
• 在 36 个 epoch 后，DATE 达到 40.6 AP，优于 FCOS 的 39.8 AP，表明长期训练下性能持续提升。
• one-to-many 分支不影响 one-to-one 分支的最终预测：AP 保持在 37.3（无 NMS）和 37.4（有 NMS），确认 NMS-free 推理特性得以保留。
• 添加 one-to-many 分支仅使参数增加 0.2M（0.625%），FLOPs 增加 4 GFLOPs（1.99%），训练成本可忽略不计。
• 使用无共享子网络的 RetinaNet 风格 one-to-many 分支可将 AP 提升至 37.6，但代价是增加 4.7M 参数（+14%）和 42% 的 FLOPs。
• 该方法对质量度量具有鲁棒性：使用 POTO 替代 DETR 的代价函数，可将基线 OneNet 的 AP 从 36.1 提升至 37.3，表明在不同指标下均具有一致增益。