[论文解读] 1st Place Solutions for OpenImage2019 -- Object Detection and Instance Segmentation

Yu Liu, Guanglu Song+6 more|arXiv (Cornell University)|Mar 17, 2020

Advanced Neural Network Applications参考文献 32被引用 12

一句话总结

本论文展示了在 OpenImages 2019 物体检测与实例分割挑战赛中获得第一名的解决方案。作者提出了解耦头（Decoupling Head, DH），通过可学习的空间偏移量将分类与回归特征解耦，显著提升了检测性能。此外，通过邻近非极大值抑制（adj-NMS）、模型集成以及一种简单的实例分割流程，该方法在公开与私有排行榜上均取得了最先进（SOTA）的 mAP 成绩。

ABSTRACT

This article introduces the solutions of the two champion teams, `MMfruit' for the detection track and `MMfruitSeg' for the segmentation track, in OpenImage Challenge 2019. It is commonly known that for an object detector, the shared feature at the end of the backbone is not appropriate for both classification and regression, which greatly limits the performance of both single stage detector and Faster RCNN \cite{ren2015faster} based detector. In this competition, we observe that even with a shared feature, different locations in one object has completely inconsistent performances for the two tasks. extit{E.g. the features of salient locations are usually good for classification, while those around the object edge are good for regression.} Inspired by this, we propose the Decoupling Head (DH) to disentangle the object classification and regression via the self-learned optimal feature extraction, which leads to a great improvement. Furthermore, we adjust the soft-NMS algorithm to adj-NMS to obtain stable performance improvement. Finally, a well-designed ensemble strategy via voting the bounding box location and confidence is proposed. We will also introduce several training/inferencing strategies and a bag of tricks that give minor improvement. Given those masses of details, we train and aggregate 28 global models with various backbones, heads and 3+2 expert models, and achieves the 1st place on the OpenImage 2019 Object Detection Challenge on the both public and private leadboards. Given such good instance bounding box, we further design a simple instance-level semantic segmentation pipeline and achieve the 1st place on the segmentation challenge.

研究动机与目标

• 为解决因共享特征在分类与回归任务中均表现不佳而导致的检测器性能瓶颈。
• 解决共享头中分类与回归任务之间特征表示的空间错位问题。
• 通过新型头设计与稳健的训练/推理策略，提升检测与分割性能。
• 通过模型集成与数据增强，在 OpenImages 2019 检测与分割基准上实现最先进性能。

提出的方法

• 提出解耦头（Decoupling Head, DH），通过学习空间自适应偏移量，从共享提议中生成独立且优化的分类与回归特征。
• 引入可控边缘损失（Controllable Margin Loss, CML），通过鼓励分类与回归特征之间的最优分离，指导 DH 的学习。
• 应用 adj-NMS（一种改进的软性非极大值抑制），以稳定检测性能并提升定位精度。
• 采用多尺度训练与推理策略，结合数据增强（如随机缩放与水平翻转），以提升模型鲁棒性。
• 设计一种基于 HRNet 主干网络的简单实例级语义分割流程，利用检测到的边界框作为输入，进行基于裁剪的训练。
• 通过投票机制集成 28 个全局模型与 3+2 个专家模型，融合来自不同主干网络与头结构的预测结果。

实验结果

研究问题

• RQ1 是否可以通过在不增加模型复杂度的前提下，学习任务特定的特征提取方式，缓解共享检测头中的空间错位问题？
• RQ2 通过可学习偏移量对分类与回归特征进行解耦，在 OpenImages 等大规模数据集上对检测 mAP 的影响如何？
• RQ3 adj-NMS 与集成策略在架构改进之外，能在多大程度上提升检测与分割性能？
• RQ4 当从高质量的物体检测输出初始化时，一种简单端到端的实例分割流程能否实现顶级性能？
• RQ5 多尺度训练、数据增强与同步批量归一化对泛化能力与最终排行榜表现有何贡献？

主要发现

• 解耦头（DH）通过学习任务特定的特征，显著提升了检测性能，有效解决了共享头中分类与回归之间的固有冲突。
• 使用 adj-NMS 相较于标准软性非极大值抑制，带来了稳定的性能增益，尤其在减少误检与提升定位精度方面表现突出。
• 最终检测模型在公开测试集上达到 68% mAP，最佳私有排行榜得分超过 67% mAP，展现出强大的泛化能力。
• 基于 HRNet 的实例分割流程，利用检测到的边界框进行训练，在公开排行榜上达到 55.39% mAP，集成模型同样达到 55.39% mAP。
• 28 个全局模型与专家模型的集成，结合基于投票的融合策略，在检测与分割两个任务上均实现了最高性能。
• 采用多样化输入尺度与数据增强策略（如随机缩放、翻转）显著提升了模型鲁棒性与 mAP，尤其在分割任务中表现明显。