[论文解读] Aerial Scene Parsing: From Tile-level Scene Classification to Pixel-wise Semantic Labeling

Yang Long, Gui-Song Xia+3 more|arXiv (Cornell University)|Jan 6, 2022

Advanced Image and Video Retrieval Techniques被引用 9

一句话总结

本文提出了一种分层多任务学习框架，弥合了图块级场景分类与像素级语义标注在航拍场景解析中的差距。通过引入Million-AID数据集并利用迁移学习，该方法在GID基准上实现了最先进性能，通过改进的特征融合与语义注意力机制，Kappa值提升6.8%，OA提升3%。

ABSTRACT

Given an aerial image, aerial scene parsing (ASP) targets to interpret the semantic structure of the image content, e.g., by assigning a semantic label to every pixel of the image. With the popularization of data-driven methods, the past decades have witnessed promising progress on ASP by approaching the problem with the schemes of tile-level scene classification or segmentation-based image analysis, when using high-resolution aerial images. However, the former scheme often produces results with tile-wise boundaries, while the latter one needs to handle the complex modeling process from pixels to semantics, which often requires large-scale and well-annotated image samples with pixel-wise semantic labels. In this paper, we address these issues in ASP, with perspectives from tile-level scene classification to pixel-wise semantic labeling. Specifically, we first revisit aerial image interpretation by a literature review. We then present a large-scale scene classification dataset that contains one million aerial images termed Million-AID. With the presented dataset, we also report benchmarking experiments using classical convolutional neural networks (CNNs). Finally, we perform ASP by unifying the tile-level scene classification and object-based image analysis to achieve pixel-wise semantic labeling. Intensive experiments show that Million-AID is a challenging yet useful dataset, which can serve as a benchmark for evaluating newly developed algorithms. When transferring knowledge from Million-AID, fine-tuning CNN models pretrained on Million-AID perform consistently better than those pretrained ImageNet for aerial scene classification. Moreover, our designed hierarchical multi-task learning method achieves the state-of-the-art pixel-wise classification on the challenging GID, bridging the tile-level scene classification toward pixel-wise semantic labeling for aerial image interpretation.

研究动机与目标

• 解决航拍图像理解中粗粒度图块级分类与细粒度像素级语义标注之间的差距。
• 开发一个大规模、多类别的航拍图像数据集，用于场景分类与迁移学习的基准测试。
• 将图块级分类与基于对象的分析统一到一个分层学习框架中，实现端到端的像素级标注。
• 展示在Million-AID上预训练的模型相较于ImageNet的泛化能力与可迁移性。
• 在GID数据集上实现像素级语义分割的最先进性能。

提出的方法

• 提出一种分层多任务学习框架，将图块级场景分类与基于对象的图像分析相结合，实现像素级标注。
• 利用过分割提取同质区域，并将其整合进基于CNN的特征学习流程。
• 采用多尺度上下文特征与分层卷积表示，以增强语义理解能力。
• 引入语义注意力机制，以提升视觉上相似地物类型之间的判别能力。
• 通过微调在Million-AID上预训练的模型，利用迁移学习，该数据集包含一百万张高分辨率航拍图像。
• 结合全卷积网络与基于区域的特征，生成平滑且精确的分割图。

实验结果

研究问题

• RQ1 大规模、多样化的航拍图像数据集能否提升深度学习模型在场景分类中的泛化能力？
• RQ2 如何有效统一图块级分类与像素级语义标注，以提升航拍场景解析性能？
• RQ3 从大规模场景分类数据集（如Million-AID）进行迁移学习，能在多大程度上提升下游语义分割任务的性能？
• RQ4 结合语义注意力的分层多任务学习能否在具有挑战性的航拍基准上超越现有端到端语义分割模型？
• RQ5 所提出的方法如何处理模糊或视觉上相似的地物类别（如灌溉农田与旱地农田）？

主要发现

• 所提方法在GID数据集上实现了73.03%的Kappa系数与70.04%的整体准确率，显著优于先前最先进方法（PT-GID），Kappa提升6.8%，OA提升3.0%。
• 在Million-AID上微调的模型在航拍场景分类任务中始终优于在ImageNet上预训练的模型，证明了该数据集强大的泛化能力。
• 通过利用分层融合特征与语义注意力机制，该方法有效减少了对相似地物类型（如灌溉农田与旱地农田）的误分类。
• 可视化结果表明，与PT-GID相比，该方法生成的分类图更加均匀、平滑，尤其在混合地物类型复杂的城区区域表现更优。
• Million-AID数据集被验证为多类与多标签航拍场景分类的具有挑战性的基准，涵盖多样类别的一百万张高分辨率图像。
• 从Million-AID进行迁移学习显著提升了GID细分类集的性能，证实其在遥感应用中知识迁移的实用性。