[论文解读] Is Sampling Heuristics Necessary in Training Deep Object Detectors

Joya Chen, Dong Liu+6 more|arXiv (Cornell University)|Sep 11, 2019

Advanced Neural Network Applications参考文献 44被引用 11

一句话总结

本文提出了一种无需采样的深度目标检测器训练机制，消除了对OHEM或Focal Loss等启发式难样本或软样本采样方法的依赖。通过引入引导式损失缩放、最优模型初始化和自适应阈值化，该方法在不进行超参数调优的情况下，稳定了训练过程，并在COCO和PASCAL VOC数据集上的单阶段、两阶段、多阶段及无锚框检测器中均提升了准确率。

ABSTRACT

In training deep object detectors, the problem of foreground-background imbalance has been addressed by several heuristic methods, such as online hard example mining (OHEM), Focal Loss, and gradient harmonizing mechanism (GHM). These methods either re-sample the training examples (i.e. hard sampling), or re-weight them discriminatively (i.e. soft sampling). In this paper, we challenge the necessity of such hard/soft sampling heuristics in training deep object detectors. First, without hard/soft sampling, we reveal that the scale and the stability of the classification loss greatly influence the final accuracy. Thus, we propose a guided loss scaling technique to control the classification loss during training, without using any hyper-parameter. We also propose to optimally initialize the model to ensure the stability of the classification loss. Moreover, we propose an adaptive thresholding technique to refine predictions during inference. These three ingredients constitute our Sampling-Free mechanism, which is fully data diagnostic and avoids the laborious hyper-parameter search for hard/soft sampling. We verify the effectiveness of our Sampling-Free mechanism in training one-stage, two-stage, multi-stage, and anchor-free object detectors, where our method always achieves higher accuracy on COCO and PASCAL VOC datasets. We also use the Sampling-Free mechanism for instance segmentation to demonstrate its generalization ability. Code is released at: this https URL

研究动机与目标

• 挑战OHEM、Focal Loss和GHM等启发式采样方法在训练深度目标检测器中的必要性。
• 识别当移除采样启发式方法后，损失尺度和稳定性是影响检测准确率的关键因素。
• 提出一种无需超参数调优且保持训练稳定性的无采样训练机制。
• 在多种检测器架构（包括单阶段、两阶段、多阶段和无锚框检测器）中验证方法的泛化能力。
• 将该方法扩展至实例分割任务，验证其更广泛的应用潜力。

提出的方法

• 提出引导式损失缩放，以在训练过程中动态控制分类损失的幅度，从而消除对手动超参数调优的需求。
• 引入最优模型初始化，从训练开始即稳定分类损失，降低训练方差。
• 在推理阶段采用自适应阈值化技术，无需修改网络结构即可优化目标性预测。
• 设计了一个完全基于数据诊断的框架，依赖于数据本身的内在统计特性，而非启发式采样策略。
• 将损失缩放、初始化和推理阈值化整合为统一的无采样机制。
• 确保端到端训练的稳定性与性能提升，且无需修改主干网络或颈部结构。

实验结果

研究问题

• RQ1 在训练深度目标检测器时，是否必须依赖启发式采样方法？能否在不使用它们的情况下实现性能突破？
• RQ2 当移除采样启发式方法后，分类损失的尺度和稳定性如何影响检测准确率？
• RQ3 无采样训练机制是否能在多种目标检测器架构中实现最先进性能？
• RQ4 所提方法是否能泛化至目标检测之外的其他密集预测任务（如实例分割）？
• RQ5 该方法是否能消除损失权重调整或难样本挖掘中的大量超参数调优需求？

主要发现

• 所提出的无采样机制在COCO和PASCAL VOC数据集上的平均精度高于采用启发式采样的基线模型。
• 该方法在无需任何超参数调优的情况下，显著提升了单阶段、两阶段、多阶段及无锚框目标检测器的准确率。
• 引导式损失缩放有效稳定了训练过程并提升了收敛性，即使在无难样本或软样本采样时亦然。
• 最优初始化显著降低了训练不稳定性并加速了收敛过程。
• 推理阶段的自适应阈值化通过优化目标性分数，进一步提升了检测性能。
• 该方法可泛化至实例分割任务，证明了其在目标检测之外的鲁棒性与广泛适用性。