[论文解读] LR-CNN : Local-aware Region CNN for vehicle detection in aerial imagery

Wentong Liao, Xiang Chen+5 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications参考文献 24被引用 2

一句话总结

LR-CNN 提出了一种用于航空器检测的两阶段目标检测框架，通过空间变换网络（STN）从浅层特征中重新采样，恢复空间精度，从而提升特征定位能力。通过结合 RoIAlign 与 STN 引导的特征优化，该方法在小尺寸、密集排列及任意方向的航空器检测中显著提升了检测精度，在 VEDAI 和 DOTA 数据集上实现了最先进性能，边界框更紧凑、更精确。

ABSTRACT

State-of-the-art object detection approaches such as Fast/Faster R-CNN, SSD, or YOLO have difficulties detecting dense, small targets with arbitrary orientation in large aerial images. The main reason is that using interpolation to align RoI features can result in a lack of accuracy or even loss of location information. We present the Local-aware Region Convolutional Neural Network (LR-CNN), a novel two-stage approach for vehicle detection in aerial imagery. We enhance translation invariance to detect dense vehicles and address the boundary quantization issue amongst dense vehicles by aggregating the high-precision RoIs' features. Moreover, we resample high-level semantic pooled features, making them regain location information from the features of a shallower convolutional block. This strengthens the local feature invariance for the resampled features and enables detecting vehicles in an arbitrary orientation. The local feature invariance enhances the learning ability of the focal loss function, and the focal loss further helps to focus on the hard examples. Taken together, our method better addresses the challenges of aerial imagery. We evaluate our approach on several challenging datasets (VEDAI, DOTA), demonstrating a significant improvement over state-of-the-art methods. We demonstrate the good generalization ability of our approach on the DLR 3K dataset. © 2020 Copernicus GmbH. All rights reserved.

研究动机与目标

• 解决在高分辨率航空影像中检测小尺寸、密集排列及任意方向航空器的挑战。
• 克服标准 R-CNN 框架中因 RoI 池化和插值导致的空间精度损失问题。
• 在密集航空器场景中提升定位精度并减少边界量化误差。
• 通过融合高层语义特征与浅层提供的精确空间信息，增强特征表示能力。
• 在包括 DLR 3K 在内的多样化航空数据集上实现鲁棒的泛化能力，且域偏移最小。

提出的方法

• 提出一种局部感知区域卷积神经网络（LR-CNN）框架，增强对变换的不变性，减少在密集航空器检测中的边界量化误差。
• 采用空间变换网络（STN）从浅层特征图中预测仿射变换参数，实现深层语义丰富特征的精确空间对齐。
• 利用 STN 对高层特征进行重采样，以恢复空间精度，确保池化后的特征保留准确的位置信息。
• 使用 RoIAlign 配合位置敏感池化提取高精度特征，相比标准 RoI 池化，显著减少空间错位。
• 引入焦点损失（focal loss）以关注难样本，其性能因重采样特征带来的改进局部特征不变性而进一步增强。
• 将 RPN 提议区域与 STN 引导的特征优化相结合，生成更精确的区域提议，从而提升最终分类与定位性能。

实验结果

研究问题

• RQ1 在深度网络中，高层语义特征如何在航空影像中对小尺寸、密集排列及任意方向的航空器实现精确的空间定位？
• RQ2 从浅层特征中重采样是否能显著提升密集航空场景中检测精度与边界定位性能？
• RQ3 基于空间变换网络的特征优化机制是否能优于标准 RoI 池化，以更好地处理小尺寸与旋转航空器？
• RQ4 将焦点损失与增强的局部特征不变性相结合，是否能有效提升在密集场景中对难正样本的检测能力？
• RQ5 所提方法在图像分辨率、车辆密度与背景复杂度各异的多样化航空数据集上是否具备良好的泛化能力？

主要发现

• LR-CNN 在 VEDAI 和 DOTA 数据集上实现了最先进性能，mAP 与定位精度均优于 Faster R-CNN 和 DFL。
• 定性对比显示，该方法在密集航空器簇中显著减少了边界量化误差，边界框更紧凑、更精确。
• 在 DOTA 数据集上，LR-CNN 的平均平均精度（mAP）高于先前方法，尤其在小尺寸与旋转航空器检测方面表现更优。
• 利用 STN 从浅层特征中重采样，成功恢复了空间精度，从而实现对任意方向航空器的准确检测。
• 定性结果表明，LR-CNN 检测到的航空器数量多于 Faster R-CNN 和 DFL，尤其在遮挡、阴影与密集聚集等复杂情况中表现更优。
• 该模型展现出强大的泛化能力，即使在仅用 VEDAI 训练的情况下，也能在 DLR 3K 数据集的复杂区域中正确检测航空器。