[论文解读] Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection

Shifeng Zhang, Cheng Chi+3 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Neural Network Applications参考文献 70被引用 107

一句话总结

本文显示，anchor-based 与 anchor-free 检测器之间的关键差距在于正样本/负样本的定义方式；它提出自适应训练样本选择（ATSS），能够自动确定正负样本，从而同时提升两种范式并减少每个位置需要多个锚框的需求。

ABSTRACT

Object detection has been dominated by anchor-based detectors for several years. Recently, anchor-free detectors have become popular due to the proposal of FPN and Focal Loss. In this paper, we first point out that the essential difference between anchor-based and anchor-free detection is actually how to define positive and negative training samples, which leads to the performance gap between them. If they adopt the same definition of positive and negative samples during training, there is no obvious difference in the final performance, no matter regressing from a box or a point. This shows that how to select positive and negative training samples is important for current object detectors. Then, we propose an Adaptive Training Sample Selection (ATSS) to automatically select positive and negative samples according to statistical characteristics of object. It significantly improves the performance of anchor-based and anchor-free detectors and bridges the gap between them. Finally, we discuss the necessity of tiling multiple anchors per location on the image to detect objects. Extensive experiments conducted on MS COCO support our aforementioned analysis and conclusions. With the newly introduced ATSS, we improve state-of-the-art detectors by a large margin to $50.7\%$ AP without introducing any overhead. The code is available at https://github.com/sfzhang15/ATSS

研究动机与目标

• 识别在训练中 anchor-based 与 anchor-free 检测器之间的本质差异。
• 提出一种自适应、在很大程度上几何超参数无关的正负样本选择方法。
• 证明在一个位置铺设多个锚点并非强性能的必要条件。
• 表明 ATSS 在不增加额外计算成本的前提下，提升 MS COCO 上的两类检测器性能。

提出的方法

• 在每个金字塔层次上，通过选择离 ground-truth 中心最近的 k 个锚点来定义每个 ground-truth 的候选正样本。
• 计算候选样本与 ground-truth 的 IoU，推导均值 m_g 与方差 v_g，设定自适应阈值 t_g = m_g + v_g。
• 将 IoU >= t_g 且中心点位于 ground-truth 框内的候选样本视为正样本；其余锚点为负样本。
• 将 ATSS 应用于替代 RetinaNet（#A=1）的固定正样本规则，并用于修改 FCOS（ lite 与 full 版本）的选择。
• 报告 ATSS 仅需要一个超参数 k，并且对其取值具有鲁棒性。

实验结果

研究问题

• RQ1 在训练中区分 anchor-based 与 anchor-free 检测器的本质因素是什么？
• RQ2 是否可通过自适应、以样本为中心的策略在两类检测器家族中提升检测 performance？
• RQ3 在一个位置铺设多个锚点是否对实现强性能是必要的？

主要发现

• ATSS 通过基于对象统计自适应地选择正样本/负样本，缩小了两者之间的性能差距，在 COCO 上实现更高的 AP 而不增加开销。
• 用 ATSS 取代固定样本规则在 RetinaNet（#A=1）上实现了 AP 指标的提升（例如 AP 从 37.0 提升到 39.3）。
• 对于 FCOS，ATSS（完整版）在基线和 lite 版本上都稳步提升了 AP，且在使用完整方法时收益更大。
• ATSS 结合多种骨干网络（从 ResNet-101 到 ResNeXt-64x4d-101 与 DCN）达到最先进的结果，例如在 COCO test-dev 的多尺度测试下 AP 可高达 50.7%。
• ATSS 展现出对锚点尺寸和纵横比变异的鲁棒性，并且该方法降低了每个位置需要多个锚点的需求。
• 超参数 k 在较宽的范围内表现鲁棒（大约 7–17），取值过小或过大会带来边际效益递减或负收益。