[论文解读] Faster RER-CNN: application to the detection of vehicles in aerial images

Jean Ogier du Terrail, Frédéric Jurie|arXiv (Cornell University)|Sep 20, 2018

Advanced Neural Network Applications参考文献 30被引用 28

一句话总结

本文提出Faster RER-CNN，作为Faster R-CNN的扩展，可联合预测航空影像中车辆的定向边界框和类别。通过引入旋转等变区域建议与旋转IoU度量，其在VeDAI数据集上达到最先进性能，在Munich3K和GoogleEarth数据集上也取得具有竞争力的结果，推理时间成本约为2倍，但显著提升了定位精度与方向估计性能。

ABSTRACT

Detecting small vehicles in aerial images is a difficult job that can be challenging even for humans. Rotating objects, low resolution, small inter-class variability and very large images comprising complicated backgrounds render the work of photo-interpreters tedious and wearisome. Unfortunately even the best classical detection pipelines like Faster R-CNN cannot be used off-the-shelf with good results because they were built to process object centric images from day-to-day life with multi-scale vertical objects. In this work we build on the Faster R-CNN approach to turn it into a detection framework that deals appropriately with the rotation equivariance inherent to any aerial image task. This new pipeline (Faster Rotation Equivariant Regions CNN) gives, without any bells and whistles, state-of-the-art results on one of the most challenging aerial imagery datasets: VeDAI and give good results w.r.t. the baseline Faster R-CNN on two others: Munich and GoogleEarth .

研究动机与目标

• 解决标准Faster R-CNN在检测航空影像中小型、旋转车辆时的局限性。
• 开发一种统一的检测框架，通过定向边界框联合预测目标位置、类别与方向。
• 提出一种一致的评估度量方法，用于比较定向与非定向检测器，确保方法间公平对比。
• 证明端到端联合检测与方向预测相比顺序或独立方法，能提升分类精度。
• 基于旋转等变R-CNN架构，建立航空影像车辆检测的新基线。

提出的方法

• 通过修改区域建议网络（RPN）以预测带角度参数的定向锚框，扩展Faster R-CNN，实现旋转等变的区域建议。
• 引入旋转IoU计算用于非极大值抑制（NMS）与评估，替代标准垂直框IoU。
• 通过从定向建议中学习空间对齐特征，将RoI Align适配至处理定向区域。
• 采用多任务损失函数，联合优化分类、边界框回归（含角度）与旋转感知定位。
• 使用全卷积主干网络（如ResNet），共享特征图以同时支持检测与方向预测。
• 采用统一评估协议，基于旋转标注的IoU阈值与mAP指标，确保公平比较。

实验结果

研究问题

• RQ1 在航空影像中，联合预测目标位置与方向是否能提升检测精度，相比顺序或独立预测方法？
• RQ2 在RPN中使用定向边界框是否能在保持精度的同时提升小目标车辆检测的召回率？
• RQ3 在航空影像数据集上，旋转等变检测框架是否比标准垂直边界框检测器更有效？
• RQ4 能否通过为定向检测器设计一致的评估度量，实现不同方法间的公平基准测试？
• RQ5 所提框架在多个航空影像基准上的性能与基线Faster R-CNN相比如何？

主要发现

• 在VeDAI数据集上，Faster RER-CNN在10折交叉验证中达到70.88%的平均平均精度（mAP），优于Faster R-CNN（67.09%）与FCN基线模型。
• 在VeDAI的汽车类别上，F1分数从Faster R-CNN的77.69%提升至80.2%，显著改善检测质量。
• 在Munich3K上，该框架实现87.14%的AP VOC@0.3与87.32%的AP VEDAI，分别超过Faster R-CNN的85.59%与85.68%。
• 在GoogleEarth上，该方法实现88.39%的AP VOC@0.5与88.53%的AP VEDAI，尽管训练数据有限，仍略优于Faster R-CNN（84.81%与87.37%）。
• 该框架通过更好地捕捉任意方向的车辆，尤其在复杂背景中，显著提升召回率，定性对比中黄色圆圈标注了原方法错过的检测。
• 推理时间约为Faster R-CNN的2倍（每张图像0.365秒 vs. 0.158秒），但由此带来的方向与紧密边界框估计精度提升具有充分合理性。