[论文解读] HRDNet: High-resolution Detection Network for Small Objects

Ziming Liu, Guangyu Gao+2 more|arXiv (Cornell University)|Jun 13, 2020

Advanced Neural Network Applications参考文献 26被引用 16

一句话总结

HRDNet 是一种新型的高分辨率检测网络，通过多深度、多分辨率特征融合，利用多深度特征金字塔网络（MD-IPN）和多尺度特征金字塔网络（MS-FPN），显著提升了小目标检测性能。该方法在 MS COCO、Pascal VOC 和 VisDrone2019 上均达到当前最优水平，与以往方法相比，小目标的 AP 提升超过 4.9%。

ABSTRACT

Small object detection is challenging because small objects do not contain detailed information and may even disappear in the deep network. Usually, feeding high-resolution images into a network can alleviate this issue. However, simply enlarging the resolution will cause more problems, such as that, it aggravates the large variant of object scale and introduces unbearable computation cost. To keep the benefits of high-resolution images without bringing up new problems, we proposed the High-Resolution Detection Network (HRDNet). HRDNet takes multiple resolution inputs using multi-depth backbones. To fully take advantage of multiple features, we proposed Multi-Depth Image Pyramid Network (MD-IPN) and Multi-Scale Feature Pyramid Network (MS-FPN) in HRDNet. MD-IPN maintains multiple position information using multiple depth backbones. Specifically, high-resolution input will be fed into a shallow network to reserve more positional information and reducing the computational cost while low-resolution input will be fed into a deep network to extract more semantics. By extracting various features from high to low resolutions, the MD-IPN is able to improve the performance of small object detection as well as maintaining the performance of middle and large objects. MS-FPN is proposed to align and fuse multi-scale feature groups generated by MD-IPN to reduce the information imbalance between these multi-scale multi-level features. Extensive experiments and ablation studies are conducted on the standard benchmark dataset MS COCO2017, Pascal VOC2007/2012 and a typical small object dataset, VisDrone 2019. Notably, our proposed HRDNet achieves the state-of-the-art on these datasets and it performs better on small objects.

研究动机与目标

• 为解决小目标检测问题，即小目标在深层网络中因下采样而丢失判别性特征。
• 解决高分辨率输入的优势（保留空间细节）与缺点（计算成本增加和尺度方差）之间的权衡。
• 在最小化计算开销的同时，保持对小目标和大目标的高检测精度。
• 设计一种多流、多深度的网络架构，有效融合不同分辨率和深度的特征。

提出的方法

• HRDNet 使用多个输入分辨率，采用固定的递减比率 α，将高分辨率图像输入浅层主干网络，低分辨率图像输入深层主干网络。
• 多深度特征金字塔网络（MD-IPN）从不同分辨率的特征流中提取多尺度特征，保留空间和语义信息。
• MD-IPN 通过为高分辨率输入使用浅层主干网络、为低分辨率输入使用深层主干网络，保持位置和细节信息。
• 多尺度特征金字塔网络（MS-FPN）在多个分辨率流和层级之间融合特征，减轻多尺度、多层级特征之间的信息不平衡。
• MS-FPN 实现跨流与流内特征传播，增强跨尺度的特征表示能力。
• 模型采用端到端训练，并使用标准检测头进行边界框和分类预测。

实验结果

研究问题

• RQ1 多分辨率、多深度的特征提取策略是否能在不增加计算成本的前提下提升小目标检测性能？
• RQ2 在不同输入分辨率下，融合浅层与深层主干网络的特征如何影响小目标的检测性能？
• RQ3 所提出的 MS-FPN 架构是否能有效缓解多尺度与多层级特征之间的信息不平衡？
• RQ4 HRDNet 是否能在准确率和推理速度上均优于单主干网络模型和模型集成？
• RQ5 HRDNet 的性能提升是否源于架构创新，而非模型容量的增加？

主要发现

• HRDNet 在 VisDrone2019 DET 验证集上达到 40.45 的 mAP，相比使用 ResNet152 的 HFEA 提升 3.0%，表现 SOTA。
• 在 MS COCO2017 上，HRDNet 相较于近期模型在小目标上实现 4.9% 的 AP 提升，展现出强大的泛化能力。
• 采用 ResNeXt50+101 主干网络的 HRDNet 在 Pascal VOC 2007 测试集上达到 83.4% mAP，优于以往 SOTA 方法。
• HRDNet 保持高效率，在参数量相近的情况下，性能优于单主干网络集成，且推理速度更快。
• 消融实验表明，MS-FPN 对性能至关重要，HRDNet 在性能上优于模型集成和单分辨率基线模型。
• 该模型在保持大目标检测性能的同时，显著提升了小目标检测能力，成功解决了分辨率与尺度之间的权衡问题。