[论文解读] A Comparison of Super-Resolution and Nearest Neighbors Interpolation Applied to Object Detection on Satellite Data

Evan Koester, Cem Şahin|arXiv (Cornell University)|Jul 8, 2019

Advanced Image Processing Techniques参考文献 27被引用 10

一句话总结

本文提出了一种用于卫星图像的多阶段平铺与超分增强流水线，以提升在大场景中小目标检测的性能。在xView数据集上，使用YOLOv2对4×超分（MDSR）与最近邻（NN）插值方法进行比较，发现尽管MDSR生成的图像在视觉上更逼真，但NN在检测性能上几乎与MDSR持平（AP = 0.6835 vs. AP = 0.6833），两者差异仅为0.02%，表明NN在计算成本远低于MDSR的情况下仍能实现相近的检测效果。

ABSTRACT

As Super-Resolution (SR) has matured as a research topic, it has been applied to additional topics beyond image reconstruction. In particular, combining classification or object detection tasks with a super-resolution preprocessing stage has yielded improvements in accuracy especially with objects that are small relative to the scene. While SR has shown promise, a study comparing SR and naive upscaling methods such as Nearest Neighbors (NN) interpolation when applied as a preprocessing step for object detection has not been performed. We apply the topic to satellite data and compare the Multi-scale Deep Super-Resolution (MDSR) system to NN on the xView challenge dataset. To do so, we propose a pipeline for processing satellite data that combines multi-stage image tiling and upscaling, the YOLOv2 object detection architecture, and label stitching. We compare the effects of training models using an upscaling factor of 4, upscaling images from 30cm Ground Sample Distance (GSD) to an effective GSD of 7.5cm. Upscaling by this factor significantly improves detection results, increasing Average Precision (AP) of a generalized vehicle class by 23 percent. We demonstrate that while SR produces upscaled images that are more visually pleasing than their NN counterparts, object detection networks see little difference in accuracy with images upsampled using NN obtaining nearly identical results to the MDSRx4 enhanced images with a difference of 0.0002 AP between the two methods.

研究动机与目标

• 评估超分（SR）预处理是否相比朴素插值方法能显著提升卫星图像中目标检测的准确性。
• 解决在地面采样距离（GSD）较低的大尺寸卫星图像中检测小目标（如车辆）的挑战。
• 开发并验证一种新型多阶段平铺与超分增强流水线，以高效处理高分辨率卫星数据。
• 确定SR的计算成本是否能通过相比最近邻等简单方法在检测性能上的可测量提升而得到合理化。
• 通过改进预处理方法，克服YOLOv2在航拍图像中检测密集小目标簇时的局限性。

提出的方法

• 提出两阶段平铺流水线：首先将原始卫星图像分块，然后对每个图像块使用MDSR或NN插值方法在4×放大因子下进行超分。
• 应用多尺度深度超分（MDSR）网络，将30cm GSD输入图像转换为有效7.5cm GSD的高分辨率图像。
• 将最近邻（NN）插值作为基线方法，同样在4×放大因子下进行超分，以与MDSR进行直接对比。
• 在超分后的图像块上训练并评估YOLOv2目标检测模型，采用标签拼接技术以保持跨图像块边界的边界框完整性。
• 在非极大值抑制中使用交叠比（IOA）而非标准IOU，以更好地处理重叠和密集分布的车辆目标。
• 在xView数据集上验证该流水线，该数据集包含真实世界卫星图像，并标注了30cm GSD下的车辆目标。

实验结果

研究问题

• RQ1 与最近邻插值相比，超分预处理是否能显著提升卫星图像中对小目标的检测准确性？
• RQ2 通过MDSR或NN实现的4×超分对大尺寸卫星图像中车辆检测的平均精度（AP）有何影响？
• RQ3 所提出的多阶段平铺与超分增强流水线与单阶段平铺方法相比，在检测性能上表现如何？
• RQ4 SR带来的视觉质量提升在多大程度上能转化为深度学习目标检测中的可检测性能增益？
• RQ5 在卫星图像目标检测任务中，SR的计算成本是否能通过其在检测精度上的可测量提升而得到合理化？

主要发现

• 使用MDSR或NN插值将图像放大4倍后，车辆检测的平均精度（AP）相比原始GSD下的单阶段平铺方法提升了22.8%（从0.4548提升至0.6833–0.6835）。
• MDSRx4与NNx4方法的AP得分几乎完全一致：MDSRx4为0.6833，NNx4为0.6835，差异仅为0.0002 AP。
• MDSRx4与NNx4的精确率-召回率曲线几乎无法区分，表明两者在特征提取或检测能力方面无实质性差异。
• 尽管MDSR生成的图像更具照片级真实感，但在目标检测性能方面并未展现出相比NN的显著优势。
• 超分带来的性能增益主要源于目标尺寸更好地匹配ImageNet预训练特征，而非SR特有的增强效果。
• 所提出的两阶段平铺与超分增强流水线能有效缓解YOLOv2在检测卫星图像中密集小目标簇时的固有局限性。