[论文解读] Fully Convolutional Networks for Dense Semantic Labelling of High-Resolution Aerial Imagery

Jamie Sherrah|arXiv (Cornell University)|Jun 8, 2016

Remote Sensing and LiDAR Applications参考文献 18被引用 270

一句话总结

该论文将全卷积网络（FCN）用于高分辨率航空影像的密集语义标注进行了适配，提出了一个不下采样的 FCN 以保持全分辨率，并在 ISPRS Vaihingen 和 Potsdam 数据集上使用预训练特征和基于 DSM 的混合体素架构取得了最先进的结果。

ABSTRACT

The trend towards higher resolution remote sensing imagery facilitates a transition from land-use classification to object-level scene understanding. Rather than relying purely on spectral content, appearance-based image features come into play. In this work, deep convolutional neural networks (CNNs) are applied to semantic labelling of high-resolution remote sensing data. Recent advances in fully convolutional networks (FCNs) are adapted to overhead data and shown to be as effective as in other domains. A full-resolution labelling is inferred using a deep FCN with no downsampling, obviating the need for deconvolution or interpolation. To make better use of image features, a pre-trained CNN is fine-tuned on remote sensing data in a hybrid network context, resulting in superior results compared to a network trained from scratch. The proposed approach is applied to the problem of labelling high-resolution aerial imagery, where fine boundary detail is important. The dense labelling yields state-of-the-art accuracy for the ISPRS Vaihingen and Potsdam benchmark data sets.

研究动机与目标

• 证明全卷积网络在高分辨率高空影像的密集语义标注中的有效性。
• 在不下采样的情况下保持全空间分辨率，以提高边界准确性。
• 利用预训练的 CNN 特征和高程数据来提升航空数据集的标注性能。

提出的方法

• 将全连接层转换为卷积层，创建一个作为图像滤波器运行的 FCN。
• 通过使用空洞（扩张）卷积来扩展感受野，同时不降低分辨率，从而引入无下采样的 FCN。
• 提出一个混合网络，结合预训练的 CNN 特征与从头训练的 DSM/高程数据。
• 对小块进行训练以处理大型俯视图像并实现全分辨率输出。
• 比较基于补丁的训练与 FCN 训练，并分析对边界准确性和训练效率的影响。
• 在 ISPRS Vaihingen 和 Potsdam 数据集上进行旋转增强并给出排行榜结果。

实验结果

研究问题

• RQ1 FCN 是否能够在不下采样的情况下，对超高分辨率航空影像提供密集的全分辨率语义标注？
• RQ2 相较于传统下采样的 FCN，不下采样的 FCN 是否能改善边界描绘和整体精度？
• RQ3 预训练的可视特征再加上高程/DSM 数据是否能提升航空数据集的语义标注？
• RQ4 数据增强和网络深度对航空影像中 FCN 性能的影响是什么？

主要发现

• FCN 训练在准确度上显著高于基于补丁的训练（例如 Vaihingen：在36次旋转增强下，总体准确率最高可达 87.17%）.
• 不下采样的 FCN 训练相对于下采样变体带来提升，特别是在汽车类别和边界描绘方面（Vaihingen：汽车 F1/准确率最高可达 66.54%/76.77%）。
• 将预训练的图像特征与 DSM 特征相结合的混合架构在高分辨率 Potsdam 数据上进一步提升结果（汽车准确率提高；Potsdam 获得提升）。
• 在 Vaihingen 上，DST_2( RF+CRF) 的无下采样在验证集上达到 87.90% 总体精度，DST_2 在 ISPRS 排名中测试数据达到了 89.1%。
• 对于 Potsdam，无下采样提高了准确性，汽车类显示显著提升（例如验证集中的 Unknown/Car 指标达到 90.28%）。
• 与传统的基于插值的恢复相比，无下采样方法减少了边界伪影并在全分辨率下改进像素级标注。