[论文解读] FLAIR #1: semantic segmentation and domain adaptation dataset

Anatol Garioud, Stéphane Peillet+3 more|arXiv (Cornell University)|Jan 1, 2022

Geographic Information Systems Studies被引用 13

一句话总结

本论文介绍了FLAIR #1，这是一个大规模的语义分割与域适应数据集，涵盖法国大都市地区50个空间与时间域，共包含203亿个标注像素，包含13种类别的语义分割，分辨率为0.20米。该研究提出了一种ResNet34/U-Net基线模型，在测试图像块上实现了0.5443±0.0014的平均交并比（mIoU），而元数据融合或数据增强策略带来的性能提升有限，凸显了在异质地表覆盖与成像条件下实现泛化所面临的挑战。

ABSTRACT

The French National Institute of Geographical and Forest Information (IGN) has the mission to document and measure land-cover on French territory and provides referential geographical datasets, including high-resolution aerial images and topographic maps. The monitoring of land-cover plays a crucial role in land management and planning initiatives, which can have significant socio-economic and environmental impact. Together with remote sensing technologies, artificial intelligence (IA) promises to become a powerful tool in determining land-cover and its evolution. IGN is currently exploring the potential of IA in the production of high-resolution land cover maps. Notably, deep learning methods are employed to obtain a semantic segmentation of aerial images. However, territories as large as France imply heterogeneous contexts: variations in landscapes and image acquisition make it challenging to provide uniform, reliable and accurate results across all of France. The FLAIR-one dataset presented is part of the dataset currently used at IGN to establish the French national reference land cover map "Occupation du sol à grande échelle" (OCS- GE).

研究动机与目标

• 解决在多样化法国景观与成像条件下，高分辨率航拍影像大规模语义分割中的域偏移问题。
• 提供一个基准数据集，用于在地形、季节性与传感器特性等现实世界变化条件下，训练和评估深度学习模型在地表覆盖制图中的表现。
• 通过将数据集划分为50个空间域与多个时间域，反映真实航拍调查的约束条件，推动域适应技术的研究。
• 通过元数据与数据增强策略，支持开发适用于全国范围地表覆盖制图的鲁棒语义分割模型。

提出的方法

• 该数据集包含77,412个图像块（512×512），来自50个空间域（省），每个空间域在4月至11月期间有多次时间采样。
• 语义分割采用在61,712个图像块上训练、15,700个图像块上测试的ResNet34/U-Net架构，以mIoU为主要评估指标。
• 通过浅层多层感知机（MLP）探索元数据融合，编码空间、时间与相机类型信息，其中“bottom”融合策略将编码后的元数据添加至编码器最后一层。
• 图像数据增强包括几何变换（翻转、旋转），以0.5的概率应用，以提升泛化能力。
• mIoU计算为各类别IoU得分的平均值，其中“其他”类别被视作无效类别予以排除。
• 在计算IoU前，对所有测试图像块的混淆矩阵进行聚合，以确保评估的稳健性。

实验结果

研究问题

• RQ1 在存在显著域偏移的大规模异质航拍影像数据集中，模型性能在不同地表覆盖类别上的表现如何变化？
• RQ2 在存在空间、时间与辐射变异性的条件下，元数据编码与数据增强在多大程度上能提升语义分割的泛化能力？
• RQ3 在高分辨率地表覆盖分割中，域偏移的主要来源是什么，它们如何影响模型泛化？
• RQ4 语义上相似的类别（如草本植被与农田）之间的类别混淆如何表现？
• RQ5 单一深度学习模型能否在法国大都市地区全部50个空间与时间域中实现稳健性能？

主要发现

• 基线ResNet34/U-Net模型在测试集上实现了0.5443±0.0014的平均交并比（mIoU），表明在多样化地表覆盖类型中整体性能中等。
• 表现最佳的类别——建筑物、水体与葡萄园——的IoU得分约为0.8，表明模型具有较强信心与显著的视觉特征。
• 裸土、针叶林、灌木丛与耕作地等类别的表现较差，IoU < 0.4，可能由于其出现频率低且与其他类别视觉相似。
• 通过“bottom”策略进行元数据融合，mIoU仅略微提升至0.5536±0.0014，但提升幅度微小，且在多次运行中无统计显著性。
• 采用几何变换的数据增强使mIoU降低至0.5335±0.0038，表明可能存在负面影响或增强策略未达最优。
• 混淆矩阵揭示了语义上相似类别之间存在显著的类别混淆，如草本植被与农田之间，以及裸土与不透水表面之间。