[论文解读] AutoAssign: Differentiable Label Assignment for Dense Object Detection

Benjin Zhu, Jianfeng Wang+5 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Neural Network Applications参考文献 29被引用 194

一句话总结

AutoAssign 引入了一种完全可微分、外观感知的密集目标检测标签分配，联合优化空间分配和尺度分配，结合两个加权模块（Center Weighting 和 Confidence Weighting），在 MS COCO 及其他数据集上超越先前采样策略。

ABSTRACT

Determining positive/negative samples for object detection is known as label assignment. Here we present an anchor-free detector named AutoAssign. It requires little human knowledge and achieves appearance-aware through a fully differentiable weighting mechanism. During training, to both satisfy the prior distribution of data and adapt to category characteristics, we present Center Weighting to adjust the category-specific prior distributions. To adapt to object appearances, Confidence Weighting is proposed to adjust the specific assign strategy of each instance. The two weighting modules are then combined to generate positive and negative weights to adjust each location's confidence. Extensive experiments on the MS COCO show that our method steadily surpasses other best sampling strategies by large margins with various backbones. Moreover, our best model achieves 52.1% AP, outperforming all existing one-stage detectors. Besides, experiments on other datasets, e.g., PASCAL VOC, Objects365, and WiderFace, demonstrate the broad applicability of AutoAssign.

研究动机与目标

• 通过使正/负采样完全数据驱动来减少对手工设计标签分配的依赖。
• 为空间中心加权开发类别特定的先验，以捕捉多样的目标分布。
• 开发实例感知的置信度加权以适应每个目标的外观和尺度。
• 将两个加权模块结合起来，生成用于训练的可微分的正/负权重图。
• 在 MS COCO 上展示最先进的性能，并在跨数据集的鲁棒性方面表现出色。

提出的方法

• 采用无锚框检测框架，在训练阶段将所有位于 ground-truth 短盒在各 FPN 层内的位置视为候选正/负样本。
• Center Weighting：学习类别特定的高斯样似先验 G(d|μ,σ)，以适应每个类别的中心先验，并按到盒中心的下采样距离进行归一化。
• Confidence Weighting：计算一个联合置信度 P_i，将分类置信度（含一个隐式目标分支）和定位置信度结合起来；将定位损失转化为似然度以实现无缝整合。
• 通过在对象区域内所有候选位置上归一化乘积 C(P_i^+)（置信度）和 G(d_i) 来计算正权重 w_i^+。
• 使用 1 - f(iou_i) 计算负权重 w_i^-，其中 iou_i 是位置 i 与任意 GT 框的最大 IoU，确保对非对象区域的背景强调。
• 将最终损失定义为 L = -sum_n log(sum_{i in S_n} w_i^+ P_i^+) - sum_k log(1 - w_k^- P_k^-)，对负样本应用 focal 损失，训练阶段采用的可微加权机制在推理时不使用。
• 关键方程包括高斯中心加权 G(d|μ,σ) 与联合置信度表达式 P_i^+, P_i^- 的归一化与加权方案（如方法学所述）。

实验结果

研究问题

• RQ1 完全数据驱动、可微分的标签分配是否能在检测性能上优于固定或部分动态采样策略？
• RQ2 类别特定先验（Center Weighting）与实例特定外观/适应（Confidence Weighting）如何交互以优化空间与尺度分配？
• RQ3 提出的加权框架是否能在具有不同分布的数据集（VOC、Objects365、WiderFace）上在不进行超参数调优的情况下泛化？
• RQ4 隐式目标分支对过滤噪声候选者以及与背景的分离提升有多大影响？
• RQ5 在常见骨架上，AutoAssign 在标准基准上的理论上限性能是多少？

主要发现

AP	AP50	AP75	AP_S	AP_M	AP_L
52.1	69.6	58.0	33.9	54.0	64.0

• AutoAssign 在 MS COCO 的单阶段检测器中达到最先进的性能，代表性最佳模型在 2x 训练计划和多尺度测试下在 COCO test-dev 上达到 52.1 AP。
• Center Weighting 通过将中心先验与类别特定分布对齐（包括在先验偏移或拉长以匹配目标形状的情况下）显著提高 AP。
• Confidence Weighting 通过基于对象外观和尺度的自适应空间位置加权，进一步提升 AP，超过仅靠中心先验的效果。
• Center Weighting 与 Confidence Weighting 的组合达到最佳性能（AutoAssign），超越依赖锚框、IoU 阈值或 top-k 采样的前人方法。
• AutoAssign 在跨数据集（PASCAL VOC、Objects365、WiderFace）上表现出稳健的泛化性，无需重新调整超参数，在这些分布上优于固定/部分动态方法。