[论文解读] LapNet : Automatic Balanced Loss and Optimal Assignment for Real-Time Dense Object Detection

Florian Chabot, Pham, Quoc-Cuong+1 more|arXiv (Cornell University)|Nov 4, 2019

Advanced Neural Network Applications参考文献 33被引用 8

一句话总结

LapNet 是一种实时单阶段目标检测器，通过引入用于鲁棒锚框分配的逐对象归一化重叠（PONO）和用于解决重叠目标冲突的模糊性管理策略（AMS），提升了检测精度和训练稳定性。在使用相同 DarkNet-53 主干网络、推理速度相近的情况下，LapNet 在 COCO 上的 mAP 达到 37.6，优于 YOLOv3 的 33.0，性能达到实时检测器的最先进水平。

ABSTRACT

Real-time single-stage object detectors based on deep learning still remain less accurate than more complex ones. The trade-off between model performance and computational speed is a major challenge. In this paper, we propose a new way to efficiently learn a single-shot detector which offers a very good compromise between these two objectives. To this end, we introduce LapNet, an anchor based detector, trained end-to-end without any sampling strategy. Our approach aims to overcome two important problems encountered in training an anchor based detector: (1) ambiguity in the assignment of anchor to ground truth and (2) class and object size imbalance. To address the first limitation, we propose a soft positive/negative anchor assignment procedure based on a new overlapping function called "Per-Object Normalized Overlap" (PONO). This soft assignment can be self-corrected by the network itself to avoid ambiguity between close objects. To cope with the second limitation, we propose to learn additional weights, that are not used at inference, to efficiently manage sample imbalance. These two contributions make the detector learning more generic whatever the training dataset. Various experiments show the effectiveness of the proposed approach.

研究动机与目标

• 为解决基于锚框的目标检测器的局限性，特别是模糊的正负样本标签分配和类别/目标尺寸不平衡问题。
• 开发一种无需手动采样启发式策略、且减少对固定 IoU 阈值依赖的训练策略。
• 实现在无需采样策略的情况下端到端训练，同时保持实时推理速度。
• 在密集目标检测场景中，提升对小目标和严重遮挡目标的检测精度。
• 设计一种通用的、自动的损失平衡机制，无需增加计算成本即可考虑类别代表性与目标尺寸。

提出的方法

• 提出逐对象归一化重叠（PONO），一种归一化重叠度量，确保每个真实框至少有一个锚框的 PONO 值为 1，从而提升对锚框离散化的鲁棒性。
• 提出一种在线模糊性管理策略（AMS），在训练过程中动态将重叠多个真实框的模糊锚框重新分配为负样本，以防止模型混淆。
• 设计一种自动、可学习的损失加权机制，无需额外推理开销即可平衡前景-背景、类别和目标尺寸的不平衡。
• 采用编码器-解码器 CNN 架构，端到端训练，无需采样策略，直接预测每个锚框的类别概率和边界框偏移量。
• 基于 PONO 分数采用软分配机制，即使在模糊或重叠度较低的锚框上也能实现梯度流动。
• 应用改进的焦点损失，采用自适应权重以降低简单负样本的影响，并在不同目标尺寸和类别频率间实现硬样本的平衡。

实验结果

研究问题

• RQ1 像 PONO 这样的归一化重叠度量是否能提升密集目标检测中锚框分配的鲁棒性，特别是在小目标或重叠目标场景下？
• RQ2 在线模糊性解析策略（AMS）是否能在锚框与多个真实框重叠时提升模型的泛化能力？
• RQ3 自动、可学习的损失加权机制是否能有效平衡类别和目标尺寸的不平衡，而无需手动调参或采样启发式策略？
• RQ4 单阶段检测器在保持实时推理速度的前提下，能在多大程度上实现最先进精度？
• RQ5 所提出的训练策略是否能在不重新训练或修改网络结构的情况下，泛化到不同数据集和主干网络架构上？

主要发现

• 在输入分辨率为 608×608 的 COCO test-dev 2017 上，LapNet 达到 37.6 mAP，优于使用相同 DarkNet-53 主干网络和相近推理时间的 YOLOv3（33.0 mAP）。
• 在 512×512 分辨率下，LapNet 达到 37.6 mAP，精度超过 RetinaNet-500（32.5 mAP）和 FCOS-800（41.0 mAP），且推理速度比后者快 2.5 倍。
• 尽管使用更轻量的主干网络和更小的输入尺寸，LapNet 相较于 RetinaNet-500 提高了 3.2 mAP，相较 FCOS-800 提高了 2.8 mAP。
• 所提出的 PONO 和 AMS 机制显著减少了对小目标和重叠目标的误检和模糊预测。
• 自动损失加权机制有效平衡了类别和尺寸不平衡，实现了更稳定、更准确的训练，且无需采样策略。
• LapNet 在 COCO 上为实时单阶段检测器树立了新的最先进性能标杆，证明了高精度与高速度可同时实现。