[论文解读] Guided Attention Network for Object Detection and Counting on Drones

Yuanqiang Cai, Dawei Du+5 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Neural Network Applications参考文献 34被引用 11

一句话总结

本文提出了一种新型无锚点引导注意力网络（GANet），用于无人机目标检测与计数，通过弱监督的背景注意力（BA）和前景注意力（FA）模块增强特征表示。该方法在UAVDT、CARPK和PUCPR+基准上取得最先进性能，结合BA、FA与新型数据增强策略后，mAP相比基线提升7.8%。

ABSTRACT

Object detection and counting are related but challenging problems, especially for drone based scenes with small objects and cluttered background. In this paper, we propose a new Guided Attention Network (GANet) to deal with both object detection and counting tasks based on the feature pyramid. Different from the previous methods relying on unsupervised attention modules, we fuse different scales of feature maps by using the proposed weakly-supervised Background Attention (BA) between the background and objects for more semantic feature representation. Then, the Foreground Attention (FA) module is developed to consider both global and local appearance of the object to facilitate accurate localization. Moreover, the new data argumentation strategy is designed to train a robust model in various complex scenes. Extensive experiments on three challenging benchmarks (i.e., UAVDT, CARPK and PUCPR+) show the state-of-the-art detection and counting performance of the proposed method compared with existing methods.

研究动机与目标

• 解决在存在显著尺度变化和多样光照条件的无人机影像中检测与计数小而杂乱目标的挑战。
• 通过引入具有区分性的背景与前景注意力机制，改进多尺度特征金字塔中的特征表示。
• 通过引入弱监督的背景判别机制，克服无监督注意力模块的局限性，实现更优的语义理解。
• 开发一种鲁棒的数据增强策略，提升模型在雾天、夜间和强光等复杂光照条件下的泛化能力。
• 在多个无人机基准数据集上，同时实现检测与计数任务的最先进性能。

提出的方法

• 提出一种背景注意力（BA）模块，利用从前景-背景分类中获得的弱监督信号，指导多尺度特征图之间的特征融合。
• 设计一种前景注意力（FA）模块，通过聚焦于目标的角落区域，结合全局与局部外观线索，提升定位精度。
• 实施一种新型数据增强策略，利用亮度噪声与Perlin噪声模拟无人机场景中的多样化光照条件（如雾天、夜间、晴天）。
• 将BA与FA模块集成到基于特征金字塔网络（FPN）的无锚点检测框架中，采用FPN风格的横向连接实现特征融合。
• 通过联合检测与计数目标的多任务损失函数优化模型，其中FA的阈值由可学习参数κ控制。
• 采用晚期、早期与混合融合策略处理BA，消融实验表明早期融合性能最佳。

实验结果

研究问题

• RQ1 与无监督注意力机制相比，弱监督背景注意力是否能提升无人机目标检测与计数中的特征表示？
• RQ2 通过前景注意力结合全局与局部外观建模，能否在杂乱且小目标的无人机场景中提升检测精度？
• RQ3 结合Perlin噪声与亮度噪声的新型数据增强策略，在多样化光照条件下在多大程度上提升了模型的鲁棒性？
• RQ4 背景注意力、前景注意力与数据增强对整体检测性能的相对贡献如何？
• RQ5 所提出的GANet框架是否在UAVDT、CARPK和PUCPR+等标准无人机基准数据集上达到最先进性能？

主要发现

• 所提出的GANet结合背景注意力（BA）与前景注意力（FA）模块，在UAVDT数据集上相比基线mAP绝对提升7.8%（从0.4181提升至0.4576）。
• 当κ=1时，前景注意力（FA）模块实现最佳检测性能，mAP从0.4181提升至0.4411，证明其在捕捉局部目标特征方面的有效性。
• 背景注意力（BA）模块优于现有注意力机制（如SE与GC模块），在UAVDT的所有相机视角（前视、侧视、鸟瞰）中均取得最高mAP。
• 所提出的数据增强策略（BPNoise）相比基线使整体mAP提升2%，在雾天场景中检测性能提升38%（0.2118 vs. 0.1509）。
• BA、FA与数据增强的联合使用在三个基准数据集（UAVDT、CARPK、PUCPR+）上实现最先进性能，GANet+BPNoise+BA在UAVDT上达到0.4576的mAP。
• 消融实验表明，BA与FA各自单独贡献3–4%的mAP提升，联合使用带来累计7.8%的增益，验证了其互补作用。