[论文解读] Deep-Learning Convolutional Neural Networks for scattered shrub detection with Google Earth Imagery

Emilio Guirado, Siham Tabik+3 more|arXiv (Cornell University)|Jun 3, 2017

Remote-Sensing Image Classification参考文献 48被引用 70

一句话总结

该研究表明，基于 CNN 的检测器（GoogLeNet）结合迁移学习和数据增强，在 Google Earth 图像中检测 Ziziphus lotus 灌木的表现优于 OBIA，具有更高的准确性和可迁移性，且适用于新区域的部署更快。

ABSTRACT

There is a growing demand for accurate high-resolution land cover maps in many fields, e.g., in land-use planning and biodiversity conservation. Developing such maps has been performed using Object-Based Image Analysis (OBIA) methods, which usually reach good accuracies, but require a high human supervision and the best configuration for one image can hardly be extrapolated to a different image. Recently, the deep learning Convolutional Neural Networks (CNNs) have shown outstanding results in object recognition in the field of computer vision. However, they have not been fully explored yet in land cover mapping for detecting species of high biodiversity conservation interest. This paper analyzes the potential of CNNs-based methods for plant species detection using free high-resolution Google Earth T M images and provides an objective comparison with the state-of-the-art OBIA-methods. We consider as case study the detection of Ziziphus lotus shrubs, which are protected as a priority habitat under the European Union Habitats Directive. According to our results, compared to OBIA-based methods, the proposed CNN-based detection model, in combination with data-augmentation, transfer learning and pre-processing, achieves higher performance with less human intervention and the knowledge it acquires in the first image can be transferred to other images, which makes the detection process very fast. The provided methodology can be systematically reproduced for other species detection.

研究动机与目标

• 使用高分辨率 Google Earth 图像开发准确的植物物种制图的基于 CNN 的方法。
• 在准确性、可迁移性和用户生产力方面比较基于 CNN 的检测与基于 OBIA 的方法。
• 评估迁移学习、数据增强和预处理对检测性能的影响。

提出的方法

• 使用在 ImageNet 上预训练的 GoogLeNet（基于 Inception 的 CNN），并对 Ziziphus lotus 与稀疏植被覆盖的裸 soil 进行微调（两类问题）。
• 应用数据增强（随机尺度、随机裁剪、水平翻转、随机亮度）将训练数据从 100 扩增到 6000 张图像。
• 评估两种检测方法：对测试图像进行滑动窗口检测和在进行 CNN 推理前对图像进行预处理以生成候选补丁。
• 尝试预处理步骤（基于反照率的灰度掩模和基于边缘的过滤以去除小簇）。
• 在两个测试区域（西班牙和塞浦路斯）比较基于 CNN 的检测器与 OBIA 检测器（多分辨率分割 + KNN 分类）。
• 用 precision、recall 和 F1-score 衡量性能。

实验结果

研究问题

• RQ1 在高分辨率 Google Earth 图像中，使用在小样本、经过迁移学习的数据集训练的基于 CNN 的检测器，是否能实现对分布分散的灌木的高精度检测？
• RQ2 在不同区域，基于 CNN 的检测在准确性、可迁移性以及所需的人为监督方面，与 OBIA 的比较如何？

主要发现

• 在 Test-zone-1 使用预处理时，使用迁移学习和数据增强的 GoogLeNet 实现高检测性能，达到 98.57% 的精确率和 95.83% 的召回率（F1 97.18%）。
• 在不进行预处理、使用滑动窗口且进行数据增强的情况下，CNN 基于检测的精确率/召回率为 90.28%（F1 90.28%），高于基线。
• 预处理（背景消除和端边尺寸过滤）使 Test-zone-1 的结果提升至 98.57% 精确率、95.83% 召回率、F1 97.18%。
• 在 Test-zone-2，带预处理的 CNN 检测达到 92.68% 的精确率/召回率（F1 92.68%），优于 OBIA（精确率 77.65%–72.41%，F1 84.08%–60.00%）。
• 使用微调和数据增强的 CNN 训练大约在 GPUs 上需要 7.55 分钟；对新图像的部署只需几秒，而 OBIA 在每个图像配置上大约需要 ~12.5 小时。
• CNN 在不同区域（西班牙和塞浦路斯）之间具有更好的可迁移性，且所需的人类监督比 OBIA 少。