[论文解读] Learning a Unified Sample Weighting Network for Object Detection

Qi Cai, Yingwei Pan+4 more|arXiv (Cornell University)|Jun 11, 2020

Advanced Neural Network Applications参考文献 27被引用 4

一句话总结

本文提出了一种统一的样本加权网络（SWN），通过建模分类损失、回归损失、IoU 和预测分数的不确定性，动态预测目标检测中任务特定的样本权重。该方法在不增加推理时间的前提下，使多种单阶段和两阶段检测器的检测精度最高提升1.8%。

ABSTRACT

Region sampling or weighting is significantly important to the success of modern region-based object detectors. Unlike some previous works, which only focus on "hard" samples when optimizing the objective function, we argue that sample weighting should be data-dependent and task-dependent. The importance of a sample for the objective function optimization is determined by its uncertainties to both object classification and bounding box regression tasks. To this end, we devise a general loss function to cover most region-based object detectors with various sampling strategies, and then based on it we propose a unified sample weighting network to predict a sample's task weights. Our framework is simple yet effective. It leverages the samples' uncertainty distributions on classification loss, regression loss, IoU, and probability score, to predict sample weights. Our approach has several advantages: (i). It jointly learns sample weights for both classification and regression tasks, which differentiates it from most previous work. (ii). It is a data-driven process, so it avoids some manual parameter tuning. (iii). It can be effortlessly plugged into most object detectors and achieves noticeable performance improvements without affecting their inference time. Our approach has been thoroughly evaluated with recent object detection frameworks and it can consistently boost the detection accuracy. Code has been made available at \url{https://github.com/caiqi/sample-weighting-network}.

研究动机与目标

• 为解决静态或仅基于难样本的样本加权在目标检测中的局限性，使样本重要性依赖于数据和任务。
• 在统一框架中联合优化分类和回归权重，避免对每项任务分别处理。
• 通过端到端、数据驱动的方式学习样本权重，减少对人工超参数调优的依赖。
• 在保持推理速度的同时，提升多种检测器（单阶段和两阶段）的检测性能。

提出的方法

• 该方法引入一个样本加权网络（SWN），以分类损失、回归损失、IoU 和预测分数作为输入，为分类和回归任务预测样本特定的权重。
• 通过高斯噪声模型估计不确定性，将分类损失和回归损失与学习到的不确定性感知权重结合，构建统一的损失函数。
• 采用可微分的加权机制，样本权重由损失的已学习对数方差推导得出，并引入正则化项以防止权重坍塌。
• 应用批量内平滑策略，通过在每个批次中对正负样本的权重取平均，稳定训练过程。
• 该方法即插即用，兼容现有检测器如 Faster R-CNN、SSD 和 YOLO，仅需极少的架构修改。
• 超参数如 λ₁ 控制不确定性对权重的影响，实现无需人工调优的稳定优化。

实验结果

研究问题

• RQ1 如何使目标检测中的样本加权既依赖于数据又依赖于任务，而非依赖于固定策略或仅基于难样本？
• RQ2 能否在一个多任务检测框架中，通过统一网络联合学习分类和回归任务的最优权重？
• RQ3 基于数据驱动和不确定性的样本加权机制是否在检测精度上优于传统的难样本挖掘或焦点损失？
• RQ4 所提出方法在不同主干网络架构和检测器框架上的泛化能力如何？
• RQ5 样本加权网络对不同初始化和训练动态的鲁棒性如何？

主要发现

• 所提出的样本加权网络在 MS COCO 和 Pascal VOC 数据集上，对多种检测器（包括 ResNet-50 和 ResNeXt-101-32x4d 主干网络）实现了最高达1.8%的 mAP 提升，且性能稳定。
• 该方法在不增加推理时间的前提下提升检测精度，适用于实时应用。
• 消融实验表明，网络能有效学习到为不确定性较低的样本分配更高权重，即使这些样本在损失幅度上属于“简单”样本。
• 随着损失减小，样本权重在训练过程中逐渐增加，表明网络学习到优先关注简单、低不确定性的样本——这与模型基于不确定性的设计一致。
• 该方法对不同权重初始化具有鲁棒性，多次运行中平均样本权重收敛至相似值，表明优化过程稳定。
• 回归损失分布分析显示，该方法为高IoU样本分配更高权重，证实其以数据依赖方式优先考虑精确定位。