[论文解读] Deep Adaptive Proposal Network for Object Detection in Optical Remote Sensing Images

Lin Cheng, Xu Liu+3 more|arXiv (Cornell University)|Jul 19, 2018

Remote-Sensing Image Classification参考文献 30被引用 13

一句话总结

本文提出了一种新型两阶段目标检测框架——深度自适应提议网络（DAPNet），用于光学遥感图像，通过集成类别先验网络（CPN）改进Faster R-CNN，生成自适应、类别感知的区域提议。DAPNet根据物体密度和类别动态调整每张图像的提议数量，在NWPU VHR-10数据集上实现了最先进的平均精度（mAP），相比Faster R-CNN及其他SOTA方法，检测精度更高且计算成本更低。

ABSTRACT

Object detection is a fundamental and challenging problem in aerial and satellite image analysis. More recently, a two-stage detector Faster R-CNN is proposed and demonstrated to be a promising tool for object detection in optical remote sensing images, while the sparse and dense characteristic of objects in remote sensing images is complexity. It is unreasonable to treat all images with the same region proposal strategy, and this treatment limits the performance of two-stage detectors. In this paper, we propose a novel and effective approach, named deep adaptive proposal network (DAPNet), address this complexity characteristic of object by learning a new category prior network (CPN) on the basis of the existing Faster R-CNN architecture. Moreover, the candidate regions produced by DAPNet model are different from the traditional region proposal network (RPN), DAPNet predicts the detail category of each candidate region. And these candidate regions combine the object number, which generated by the category prior network to achieve a suitable number of candidate boxes for each image. These candidate boxes can satisfy detection tasks in sparse and dense scenes. The performance of the proposed framework has been evaluated on the challenging NWPU VHR-10 data set. Experimental results demonstrate the superiority of the proposed framework to the state-of-the-art.

研究动机与目标

• 解决光学遥感图像中物体密度差异（稀疏与密集）带来的挑战，这限制了固定区域提议方法（如Faster R-CNN）的性能。
• 克服在所有图像中使用统一数量区域提议的低效性与次优性能，无论内容复杂度如何。
• 通过在提议生成过程中引入类别特定的先验知识，提升小物体和稀有物体的检测精度。
• 通过基于学习到的类别先验的自适应提议生成，降低计算成本，同时保持或提升检测性能。
• 在高分辨率遥感图像的挑战性NWPU VHR-10基准数据集上实现最先进的检测精度。

提出的方法

• 引入类别先验网络（CPN），利用主干网络的高层特征预测每个候选区域属于特定物体类别的可能性。
• 将CPN的输出与Faster R-CNN的区域提议网络（F-RPN）集成，生成自适应、类别条件的区域提议，而非固定大小的提议。
• 利用预测的类别概率动态调整每张图像的区域提议数量，确保密集场景中充分覆盖，稀疏场景中减少提议数量。
• 使用与Faster R-CNN相同的VGG-16主干网络和ImageNet预训练权重，端到端联合优化RPN与CPN分支进行训练。
• 利用F-RPN的多尺度特征图生成区域提议，同时CPN基于语义类别先验指导提议选择。
• 应用可微的提议选择机制，将F-RPN输出与CPN预测的类别得分结合，生成最终的优化自适应提议集。

实验结果

研究问题

• RQ1 可学习的类别先验网络是否能通过适应场景特定的物体密度与分布，提升遥感目标检测中的区域提议质量？
• RQ2 基于类别先验的自适应提议生成与Faster R-CNN等固定提议方法相比，如何影响检测精度与推理效率？
• RQ3 所提出的DAPNet框架在具有多样化物体尺度与密度的遥感数据集上，相较于现有两阶段检测器，性能提升程度如何？
• RQ4 为何DAPNet在某些小物体类别（如储油罐）上改进有限？这是否可归因于高层特征中的特征表示局限性？
• RQ5 类别先验的引入是否能在不牺牲检测性能的前提下减少区域提议数量，尤其是在稀疏场景中？

主要发现

• 在飞机类别上，DAPNet相比Faster R-CNN的平均精度（mAP）提升了8.99%，在网球场类别上提升8.43%，篮球场提升7.74%，港口提升5.33%，桥梁提升8.97%。
• 与基础的F-Faster R-CNN模型相比，引入类别先验网络（CPN）使mAP提升了1.23%，尤其在储油罐和车辆类别上性能显著增强。
• 尽管在储油罐类别上的mAP低于RICNN，但DAPNet以显著更少的区域提议和更低的计算成本实现了该性能，证明了其效率优势。
• DAPNet将每张图像的平均推理时间降低至0.408秒，在mAP上优于Faster R-CNN（0.289秒），同时保持了有竞争力的速度，并显著低于其他方法（如RICNN的8.83秒和FDDL的7.54秒）的计算成本。
• 定性结果表明，DAPNet在10个类别中的8个上优于Faster R-CNN，尤其在港口和桥梁等密集场景中，误检更少。
• 该模型通过基于学习到的类别先验动态调整每张图像的提议数量，在稀疏与密集场景中均表现出鲁棒性，验证了自适应提议机制的有效性。