[论文解读] FreeAnchor: Learning to Match Anchors for Visual Object Detection

Xiaosong Zhang, Fang Wan+3 more|arXiv (Cornell University)|Sep 5, 2019

Advanced Neural Network Applications被引用 275

一句话总结

FreeAnchor 将检测器训练重新表述为最大似然估计过程，以从一个锚包中学习灵活的锚点匹配，从而在基于 IoU 的分配之上提升检测性能。

ABSTRACT

Modern CNN-based object detectors assign anchors for ground-truth objects under the restriction of object-anchor Intersection-over-Unit (IoU). In this study, we propose a learning-to-match approach to break IoU restriction, allowing objects to match anchors in a flexible manner. Our approach, referred to as FreeAnchor, updates hand-crafted anchor assignment to "free" anchor matching by formulating detector training as a maximum likelihood estimation (MLE) procedure. FreeAnchor targets at learning features which best explain a class of objects in terms of both classification and localization. FreeAnchor is implemented by optimizing detection customized likelihood and can be fused with CNN-based detectors in a plug-and-play manner. Experiments on COCO demonstrate that FreeAnchor consistently outperforms their counterparts with significant margins.

研究动机与目标

• 推动打破基于 IoU 的手工设计锚点分配在基于锚点的检测器中的局限。
• 提出一个学习匹配框架来为目标选择锚点。
• 通过检测定制化似然确保召回、精度与 NMS 兼容性。
• 实现分类、定位和锚点匹配的端到端优化。

提出的方法

• 将检测器训练表述为对象-锚点对上的最大似然估计（MLE）。
• 定义检测定制化似然，以在兼顾 NMS 兼容性的同时联合优化召回和精度。
• 为每个对象构建锚点包，按 IoU 选择前 n 个锚点，并学习从每个锚包中选出最佳锚点。
• 引入平均-最大锚点选择机制，随着训练进行从近似均值逐步演化为接近最大值。
• 用检测定制损失（Eq. 7）替换 RetinaNet 损失，融入平衡项与 focal 损失。
• 以插件式方式与现有基于 CNN 的检测器整合该方法。

实验结果

研究问题

• RQ1 从候选锚包学习匹配锚点是否能提升目标检测效果，超越手工设计的基于 IoU 的分配？
• RQ2 检测定制化似然是否能带来更好的召回、精度和 NMS 兼容性？
• RQ3 Mean-max 锚点选择策略如何影响训练动态和最终精度？

主要发现

• FreeAnchor 在 COCO 数据集上对 RetinaNet 基线稳定地提升了 AP。
• 在相同骨干网络下，FreeAnchor 比 RetinaNet 的 AP 提升最多约 3.0 点。
• FreeAnchor 在跨越不同 IoU 阈值的 NMS 召回率更高，显示与 NMS 的兼容性更好。
• FreeAnchor 在 COCO 基准测试中优于若干最先进的一阶段检测器和无锚点方法。
• 由于学习到的锚点选择，锚点匹配在拥挤场景和细长物体上变得更有效。
• 该方法在训练时间适度增加的情况下保持了训练效率。