[论文解读] Loss Rank Mining: A General Hard Example Mining Method for Real-time Detectors

Hao Yu, Zhaoning Zhang+5 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Neural Network Applications被引用 7

一句话总结

本文提出损失排序挖掘（Loss Rank Mining, LRM），一种适用于实时目标检测器的通用难例挖掘方法，通过基于最终特征图中的损失排序选择难例，无需区域建议或损失函数修改。LRM 通过聚焦前景目标（这些目标在训练中常被背景淹没）显著提升了 YOLOv2 的 mAP，在 KITTI 上提升超过 5%，在 PASCAL VOC 上提升 2%。

ABSTRACT

Modern object detectors usually suffer from low accuracy issues, as foregrounds always drown in tons of backgrounds and become hard examples during training. Compared with those proposal-based ones, real-time detectors are in far more serious trouble since they renounce the use of region-proposing stage which is used to filter a majority of backgrounds for achieving real-time rates. Though foregrounds as hard examples are in urgent need of being mined from tons of backgrounds, a considerable number of state-of-the-art real-time detectors, like YOLO series, have yet to profit from existing hard example mining methods, as using these methods need detectors fit series of prerequisites. In this paper, we propose a general hard example mining method named Loss Rank Mining (LRM) to fill the gap. LRM is a general method for real-time detectors, as it utilizes the final feature map which exists in all real-time detectors to mine hard examples. By using LRM, some elements representing easy examples in final feature map are filtered and detectors are forced to concentrate on hard examples during training. Extensive experiments validate the effectiveness of our method. With our method, the improvements of YOLOv2 detector on auto-driving related dataset KITTI and more general dataset PASCAL VOC are over 5% and 2% mAP, respectively. In addition, LRM is the first hard example mining strategy which could fit YOLOv2 perfectly and make it better applied in series of real scenarios where both real-time rates and accurate detection are strongly demanded.

研究动机与目标

• 为解决实时目标检测器缺乏不依赖区域建议或特定损失函数的通用难例挖掘方法的问题。
• 改善 YOLOv2 等实时检测器的检测精度，这些检测器虽在实际应用中广泛使用，但因前景-背景类别不平衡而表现受限。
• 开发一种可直接应用于现有实时检测器而无需修改网络结构或损失函数的方法。
• 证明从最终特征图中进行损失排序可有效识别并优先处理难例，尤其是前景目标。

提出的方法

• LRM 通过按损失值从高到低对最终特征图中的所有预测进行排序，选择损失最高的前 N 个预测作为难例。
• 仅保留损失最高的前 N 个预测用于反向传播，从而有效过滤掉大多数为背景的简单样本。
• 该方法直接作用于最终检测头的输出，适用于所有生成最终特征图的实时检测器。
• 无需区域建议或损失函数修改，可直接集成到 YOLOv2 等现有模型中。
• 所选难例数量（N）为超参数，需在不同数据集和 NMS 设置下进行调优以获得最佳性能。
• LRM 通过聚焦高损失预测（通常为误分类或定位不佳的前景）隐式强调前景目标。

实验结果

研究问题

• RQ1 能否为实时检测器开发一种不依赖区域建议或特定损失函数的通用难例挖掘方法？
• RQ2 从最终特征图中进行损失排序在提升 YOLOv2 等实时检测器的检测精度方面有多有效？
• RQ3 LRM 是否能在不修改 YOLOv2 原始损失函数的前提下，超越 Focal Loss 等现有方法？
• RQ4 在不同数据集和 NMS 阈值下，反向传播中选择的最优难例数量（N）是多少？
• RQ5 通过 LRM 过滤简单样本是否会导致泛化性能提升或潜在的信息丢失？

主要发现

• 在 KITTI 数据集上，LRM 使 YOLOv2 的 mAP 提升 5.05%，对实时自动驾驶应用具有显著意义。
• 在更通用的 PASCAL VOC 数据集上，LRM 使 YOLOv2 的 mAP 相较原始模型提升 2.27%，达到 77.40% 的 mAP。
• 与 Focal Loss 对比，LRM 在不修改 YOLOv2 原始损失函数的前提下实现了更优性能，这在模型兼容性方面具有显著优势。
• 最优难例数量（N）随 NMS 阈值变化：在 0.5 和 1.0 时，N=128 最优；在 0.7 时，N=256 最优，因其保留了更多冗余信息。
• 在类别特定性能方面，LRM 导致 'cat' 类 mAP 中等程度下降（约 3%），但对 'dog' 类造成显著下降，表明该方法对不同类别在难例选择上存在敏感性差异。
• 实验表明，LRM 是首个可直接应用于 YOLOv2 的通用难例挖掘方法，显著提升了其精度，而此前的方法均未能实现这一目标。