[论文解读] Solution for Large-Scale Hierarchical Object Detection Datasets with Incomplete Annotation and Data Imbalance

Yuan Gao, Xingyuan Bu+5 more|arXiv (Cornell University)|Oct 15, 2018

Advanced Image and Video Retrieval Techniques参考文献 16被引用 16

一句话总结

该论文针对 Open Images 2018 挑战赛中的大规模层级目标检测问题，提出了一套全面的解决方案，通过类感知采样（CAS）、层级非极大值抑制（HNMS）、SNIPER 和模型集成等策略，有效应对严重的标注不完整性和数据不平衡问题。结合 SENet154 与特征金字塔及可变形 ROI-align，该方法在公开排行榜上取得了 62.2% 的 mAP，排名第二，最佳单模型 mAP 达到 56.9%。

ABSTRACT

This report demonstrates our solution for the Open Images 2018 Challenge. Based on our detailed analysis on the Open Images Datasets (OID), it is found that there are four typical features: large-scale, hierarchical tag system, severe annotation incompleteness and data imbalance. Considering these characteristics, an amount of strategies are employed, including SNIPER, soft sampling, class-aware sampling (CAS), hierarchical non-maximum suppression (HNMS) and so on. In virtue of these effective strategies, and further using the powerful SENet154 armed with feature pyramid module and deformable ROIalign as the backbone, our best single model could achieve a mAP of 56.9%. After a further ensemble with 9 models, the final mAP is boosted to 62.2% in the public leaderboard (ranked the 2nd place) and 58.6% in the private leaderboard (ranked the 3rd place, slightly inferior to the 1st place by only 0.04 point).

研究动机与目标

• 解决 Open Images 等大规模层级目标检测数据集中严重的标注不完整性和极端数据不平衡问题。
• 提升在层级类别结构中长尾类别和稀有类别上的检测性能。
• 开发并验证适用于现实世界中不完美标注数据集的有效训练策略。
• 在两阶段检测器框架下，于 Open Images 2018 挑战赛中实现最先进性能。

提出的方法

• 采用类感知采样（CAS）在训练过程中优先选择低资源类别中的困难样本，提升稀有类别的检测能力。
• 应用层级非极大值抑制（HNMS），通过利用层级置信度分数，增强父类-子类关系的检测效果。
• 集成 SNIPER 实现尺度感知训练，通过采样相似尺度的图像块，提升对小目标和大目标的特征利用效率。
• 采用强大的主干网络（SENet154）结合特征金字塔网络（FPN）与可变形 ROI-align，增强特征表示与定位精度。
• 实施多尺度训练与测试（MST），并通过小型验证集进行数据增强，提升泛化能力与训练效率。
• 对 9 种不同配置的模型（包括不同主干网络、可变形层与组件）进行模型集成，以提升最终性能。

实验结果

研究问题

• RQ1 如何在存在严重标注不完整性的大规模数据集上有效训练目标检测模型？
• RQ2 在层级检测任务中，何种策略可缓解极端类别不平衡导致的性能下降？
• RQ3 层级非极大值抑制在提升父类与子类关系检测方面能发挥多大作用？
• RQ4 尺度感知采样（SNIPER）与类感知采样（CAS）如何协同提升稀有与小目标的检测性能？
• RQ5 模型集成与架构增强是否能够克服单个模型在长尾检测中的局限性？

主要发现

• 最佳单模型在使用 SENet154、FPN、可变形 ROI-align 及全部策略的情况下，mAP 达到 56.9%。
• 仅使用类感知采样（CAS）即相较基线模型提升 7.6 个百分点 mAP，显著改善稀有类别检测性能。
• 层级 NMS（HNMS）进一步提升性能 2 个百分点，有效增强层级类别关系的检测能力。
• 最终 9 个模型的集成在公开排行榜上达到 62.2% mAP，排名第二；在私有排行榜上达到 58.6%，仅落后第一名 0.04 个百分点。
• 在线难例挖掘（OHEM）导致性能下降，原因在于未标注的真实样本被错误分类为困难负样本，凸显在标注不完整场景下的风险。
• 利用 5,000 张图像的小型验证集进行数据增强，使 mAP 提升 0.9 个百分点，证明了数据增强在提升效率方面的显著收益。