[论文解读] RFLA: Gaussian Receptive Field based Label Assignment for Tiny Object Detection

Chang Xu, Jinwang Wang+4 more|arXiv (Cornell University)|Aug 18, 2022

Advanced Neural Network Applications被引用 10

一句话总结

该论文提出RFLA，一种基于高斯感受野的标签分配方法，用于小目标检测。该方法用高斯分布的感受野先验替代传统的锚框或点先验。通过引入感受野距离（RFD）来度量特征感受野与真实框之间的相似性，并采用分层标签分配（HLA）策略，RFLA实现了平衡学习，提升了检测精度，在AI-TOD数据集上相比最先进方法提升了4.0 AP点。

ABSTRACT

Detecting tiny objects is one of the main obstacles hindering the development of object detection. The performance of generic object detectors tends to drastically deteriorate on tiny object detection tasks. In this paper, we point out that either box prior in the anchor-based detector or point prior in the anchor-free detector is sub-optimal for tiny objects. Our key observation is that the current anchor-based or anchor-free label assignment paradigms will incur many outlier tiny-sized ground truth samples, leading to detectors imposing less focus on the tiny objects. To this end, we propose a Gaussian Receptive Field based Label Assignment (RFLA) strategy for tiny object detection. Specifically, RFLA first utilizes the prior information that the feature receptive field follows Gaussian distribution. Then, instead of assigning samples with IoU or center sampling strategy, a new Receptive Field Distance (RFD) is proposed to directly measure the similarity between the Gaussian receptive field and ground truth. Considering that the IoU-threshold based and center sampling strategy are skewed to large objects, we further design a Hierarchical Label Assignment (HLA) module based on RFD to achieve balanced learning for tiny objects. Extensive experiments on four datasets demonstrate the effectiveness of the proposed methods. Especially, our approach outperforms the state-of-the-art competitors with 4.0 AP points on the AI-TOD dataset. Codes are available at https://github.com/Chasel-Tsui/mmdet-rfla

研究动机与目标

• 为解决通用目标检测器在小目标上表现不佳的问题，其根源在于标签分配不理想。
• 识别出框和点先验导致尺度-样本不平衡，且小目标正样本不足。
• 提出一种基于高斯分布感受野的新标签分配策略，使其更符合特征的真实有效感受野。
• 设计一种感受野距离（RFD）度量标准，替代IoU或中心采样，实现更精确的相似性度量。
• 通过基于RFD的分层标签分配（HLA）模块，实现小目标在不同尺度上的平衡学习。

提出的方法

• 该方法将特征点的有效感受野（ERF）建模为高斯分布，以反映其真实的时空敏感性。
• 引入感受野距离（RFD）作为高斯ERF与真实边界框之间相似性的新度量标准，替代IoU或中心采样。
• RFD基于高斯ERF与真实框之间的重叠程度和空间对齐性进行计算，即使IoU为零，也能实现更精确的分配。
• 设计了分层标签分配（HLA）模块，通过基于RFD的采样策略，优先考虑小目标，实现跨尺度学习的平衡。
• 该方法可无缝集成到基于锚框（如Faster R-CNN）和无锚框（如FCOS）的检测器中，无需修改网络架构。
• 在四个数据集（AI-TOD、VisDrone2019、DOTA-v2.0和TinyPerson）上进行了评估，所有数据集均取得一致性能提升。

实验结果

研究问题

• RQ1 为何基于锚框和无锚框的检测器难以有效检测小目标？
• RQ2 均匀分布的先验与高斯形状的有效感受野之间的不匹配如何影响标签分配？
• RQ3 基于高斯感受野的新相似性度量是否能改善小目标的正样本分配？
• RQ4 基于感受野距离的分层标签分配策略是否能实现跨尺度更平衡的学习？
• RQ5 所提出的RFLA方法是否在具有高尺度差异和大量小目标的多样化数据集中具备泛化能力？

主要发现

• 在AI-TOD数据集上，RFLA相比最先进方法实现4.0 AP点的提升，达到50.1 AP和69.9 AP50。
• 在VisDrone2019上，当应用于Faster R-CNN时，RFLA使AP_{vt}提升4.7点，AP_t提升5.5点。
• 在DOTA-v2.0上，RFLA使DetectoRS的AP_{vt}提升2.1点，AP_t提升3.8点，表明在大规模、多样化数据集上具有稳定增益。
• 在TinyPerson上，RFLA使FCOS的AP_{50}^{tiny}提升3.1点，Faster R-CNN提升1.4点，证实其在专用小目标基准上的有效性。
• AI-TOD上的可视化结果表明，误检数显著减少，证实了小目标检测能力的提升。
• 消融实验表明，RFLA减少了尺度-样本不平衡问题，相比IoU或基于中心的方法，能更均衡地分配正样本于不同尺度。