[论文解读] AID++: An Updated Version of AID on Scene Classification

Pu Jin, Gui-Song Xia+3 more|arXiv (Cornell University)|Jun 3, 2018

Remote-Sensing Image Classification参考文献 7被引用 7

一句话总结

本文提出 AID++，一个包含超过 400,000 幅图像、涵盖 46 种场景类别的大规模航拍图像数据集，通过利用现有地理空间数据库的半自动标注方法构建。该数据集可实现深度卷积神经网络的更优训练，基于 AID++ 预训练的模型在性能和泛化能力上均优于在 ImageNet 或更小的遥感数据集上训练的模型，达到当前最优水平。

ABSTRACT

Aerial image scene classification is a fundamental problem for understanding high-resolution remote sensing images and has become an active research task in the field of remote sensing due to its important role in a wide range of applications. However, the limitations of existing datasets for scene classification, such as the small scale and low-diversity, severely hamper the potential usage of the new generation deep convolutional neural networks (CNNs). Although huge efforts have been made in building large-scale datasets very recently, e.g., the Aerial Image Dataset (AID) which contains 10,000 image samples, they are still far from sufficient to fully train a high-capacity deep CNN model. To this end, we present a larger-scale dataset in this paper, named as AID++, for aerial scene classification based on the AID dataset. The proposed AID++ consists of more than 400,000 image samples that are semi-automatically annotated by using the existing the geographical data. We evaluate several prevalent CNN models on the proposed dataset, and the results show that our dataset can be used as a promising benchmark for scene classification.

研究动机与目标

• 解决当前用于训练深度卷积神经网络的大型、多样化遥感图像数据集缺乏的问题。
• 克服现有数据集（如 AID 和 UCM）规模小、多样性不足的局限性。
• 通过提供更大、更具代表性的基准，提升卷积神经网络在遥感领域的泛化能力。
• 开发一种高效、可扩展的方法，利用现有地理空间数据实现大规模图像标注。
• 建立分层类别网络，以减少语义模糊性，提升场景类别的语义组织性。

提出的方法

• 基于土地利用和土地覆盖标准，构建一个包含 8 个顶级类别、26 个中间类别和 46 个叶级场景类别的三级分层类别网络。
• 利用现有的地理空间数据库（包括 Google Maps API 和 OpenStreetMap），自动提取每种子语义类别的坐标信息。
• 利用提取的坐标信息，从图像存储库中查询并下载高分辨率航拍图像，构成数据集的核心部分。
• 通过将地理标记数据与图像关联，实现半自动标注，显著降低人工标注工作量。
• 进行人工验证，以剔除误标图像，提升数据质量。
• 通过分层组织结构，在保持类别分离性和语义清晰性的前提下，将数据集扩展至 400,000 幅以上图像。

实验结果

研究问题

• RQ1 大规模、半自动标注的数据集是否能提升深度卷积神经网络在航拍场景分类中的性能与泛化能力？
• RQ2 场景类别的分层组织结构如何影响模型性能与语义清晰度？
• RQ3 在 AID++ 上进行预训练是否能带来相较于 ImageNet 或其他较小数据集更好的迁移学习性能？
• RQ4 AID++ 的规模与多样性在多大程度上缓解了现有遥感数据集的局限性？
• RQ5 不同卷积神经网络架构在 AID++ 上训练时，相较于其他基准，表现如何？

主要发现

• AID++ 数据集包含超过 400,000 幅高分辨率航拍图像，分布在 46 个场景类别中，显著扩展了原始 AID 数据集的规模。
• ResNet 和 DenseNet 在 AID++ 上取得了最高的分类准确率，其中 DenseNet 在完整数据集上达到 86.61% 的总体准确率。
• 在 WHU-19 基准测试中，基于 AID++ 预训练的模型在性能上优于在 ImageNet 或其他遥感数据集（如 AID、NWPU、RSI-CB）上预训练的模型，准确率达到 97.38%。
• 分层类别网络有效减少了语义混淆，提升了模型的可解释性与性能。
• 增加训练数据比例可带来更高的分类准确率，证实了大规模数据在深度学习中的优势。
• 土地覆盖类别的准确率超过 90%，而土地利用类别的表现较低，表明在区分功能相似的土地利用类型方面仍存在挑战。