[论文解读] Large-Scale Object Detection in the Wild from Imbalanced Multi-Labels

Junran Peng, Xingyuan Bu+4 more|arXiv (Cornell University)|May 18, 2020

Advanced Neural Network Applications参考文献 24被引用 4

一句话总结

本文提出一种并发Softmax损失与软平衡策略，并结合混合训练调度器，以解决在Open Images数据集中大规模目标检测中的多标签模糊性和极端类别不平衡问题。该方法在单模型上达到60.90 mAP，在模型集成下达到67.17 mAP，创下Open Images公开测试挑战集的新SOTA纪录，较之前方法高出4.29个百分点。

ABSTRACT

Training with more data has always been the most stable and effective way of improving performance in deep learning era. As the largest object detection dataset so far, Open Images brings great opportunities and challenges for object detection in general and sophisticated scenarios. However, owing to its semi-automatic collecting and labeling pipeline to deal with the huge data scale, Open Images dataset suffers from label-related problems that objects may explicitly or implicitly have multiple labels and the label distribution is extremely imbalanced. In this work, we quantitatively analyze these label problems and provide a simple but effective solution. We design a concurrent softmax to handle the multi-label problems in object detection and propose a soft-sampling methods with hybrid training scheduler to deal with the label imbalance. Overall, our method yields a dramatic improvement of 3.34 points, leading to the best single model with 60.90 mAP on the public object detection test set of Open Images. And our ensembling result achieves 67.17 mAP, which is 4.29 points higher than the best result of Open Images public test 2018.

研究动机与目标

• 为解决Open Images数据集中多标签标注与极端类别不平衡问题，这些问题是模型泛化能力的阻碍。
• 提升在具有复杂、分层且重叠标签的大规模真实世界数据集上的目标检测性能。
• 开发一种训练策略，有效处理频繁类别与稀有类别，同时避免对主导类别过拟合。
• 通过单模型与集成方法，在Open Images测试挑战基准上实现最先进性能。

提出的方法

• 提出一种并发Softmax损失，可在训练和推理阶段同时预测多个标签，适用于显式与隐式多标签情形。
• 提出一种软平衡策略，根据类别频率动态调整损失权重，以减少对稀有类别的过拟合。
• 采用混合训练调度器，结合类别感知采样与非平衡微调，以提升数据效率与模型收敛性。
• 采用多阶段训练流程：先在ImageNet上预训练，随后进行类别感知采样，最后进行带有并发Softmax的软平衡微调。
• 额外应用数据增强与损失函数搜索作为附加优化手段，进一步提升性能。
• 在最终推理中采用ResNeXt-101、ResNeXt-152与EfficientNet-B7的模型集成。

实验结果

研究问题

• RQ1 如何在具有隐式与显式多标签标注的大规模数据集上有效训练深度目标检测器？
• RQ2 何种训练策略可在类别不平衡数据集中缓解对稀有类别的过拟合，同时充分利用频繁类别的数据？
• RQ3 当物体属于多个分层或重叠类别时，并发Softmax损失是否能提升检测性能？
• RQ4 结合类别感知采样与非平衡微调的混合训练调度器，对类别不平衡数据集上的模型泛化能力有何影响？
• RQ5 与之前方法相比，软平衡损失与并发Softmax在Open Images测试挑战集上能将mAP提升多少？

主要发现

• 所提方法在Open Images公开测试挑战集上实现单模型60.90 mAP，较之前最佳单模型高出3.34个百分点。
• 集成结果达到67.17 mAP，较2018年Open Images挑战赛的最佳集成结果高出4.29个百分点。
• 采用λ=0.7的软平衡策略相比λ=1.0，能有效减少对稀有类别的过拟合，并在所有类别组中提升性能。
• 混合训练调度器优于标准预训练与采样策略，尤其在从零开始微调时，结合软平衡策略可达到67.09 mAP。
• 按顺序添加并发Softmax、软平衡与混合调度器，mAP分别提升1.26、1.04与1.24个百分点，表明性能呈渐进式提升。
• 最终通过多架构集成与额外数据增强，实现67.17 mAP，创下Open Images基准的新SOTA纪录。