[论文解读] Attentive Weakly Supervised land cover mapping for object-based satellite image time series data with spatial interpretation

Dino Ienco, Yawogan Jean Eudes Gbodjo+2 more|arXiv (Cornell University)|Apr 30, 2020

Remote-Sensing Image Classification参考文献 38被引用 5

一句话总结

本文提出 TASSEL，一种用于基于对象的卫星影像时序序列（SITS）土地覆盖制图的弱监督深度学习框架，通过注意力机制识别并加权相关对象内部组件，从而提升分类准确率与可解释性。该方法在性能上优于最先进方法，同时生成空间注意力图以解释模型决策。

ABSTRACT

Nowadays, modern Earth Observation systems continuously collect massive amounts of satellite information. The unprecedented possibility to acquire high resolution Satellite Image Time Series (SITS) data (series of images with high revisit time period on the same geographical area) is opening new opportunities to monitor the different aspects of the Earth Surface but, at the same time, it is raising up new challenges in term of suitable methods to analyze and exploit such huge amount of rich and complex image data. One of the main task associated to SITS data analysis is related to land cover mapping where satellite data are exploited via learning methods to recover the Earth Surface status aka the corresponding land cover classes. Due to operational constraints, the collected label information, on which machine learning strategies are trained, is often limited in volume and obtained at coarse granularity carrying out inexact and weak knowledge that can affect the whole process. To cope with such issues, in the context of object-based SITS land cover mapping, we propose a new deep learning framework, named TASSEL (aTtentive weAkly Supervised Satellite image time sEries cLassifier), that is able to intelligently exploit the weak supervision provided by the coarse granularity labels. Furthermore, our framework also produces an additional side-information that supports the model interpretability with the aim to make the black box gray. Such side-information allows to associate spatial interpretation to the model decision via visual inspection.

研究动机与目标

• 解决利用卫星影像时序序列（SITS）进行大规模土地覆盖制图时存在的标签有限且粒度粗糙的问题。
• 克服传统基于对象的图像分析（OBIA）方法聚合对象统计量而忽略对象内部组件多样性的问题。
• 开发一种方法，智能过滤无关的内部对象组件（例如农田中的油棕树），以减少噪声并提升分类鲁棒性。
• 通过生成空间注意力图，可视化对分类决策贡献最大的对象组件，从而增强模型可解释性。
• 通过将模型预测与 SITS 数据中空间定位的特征关联，为领域专家提供实用且可操作的洞察。

提出的方法

• 对 SITS 数据中的对象应用聚类分析，将其分割为不同的辐射特征组件（例如：植被、不透水表面、裸土）。
• 使用卷积神经网络（CNN）模块，从每个识别出的对象组件中提取深层内部表征。
• 通过可学习的注意力机制聚合组件表征，根据其对土地覆盖类别的相关性，为不同组件分配不同的权重。
• 在仅使用粗粒度对象级标签的弱监督学习设置下，端到端训练整个框架。
• 输出最终的土地覆盖预测结果以及一张空间注意力图（α），显示每个组件对决策的贡献程度。
• 将注意力图作为辅助信息用于可视化解释，支持对模型推理过程的空间检查。

实验结果

研究问题

• RQ1 在弱监督设置下，深度学习框架能否有效利用基于对象的 SITS 数据中对象内部信息的多样性？
• RQ2 注意力机制如何抑制无关或噪声组件（例如农田中的油棕树）的影响，同时突出具有判别性的特征？
• RQ3 与标准的对象级统计方法相比，所提出的基于注意力的聚合方式在分类准确率方面提升程度如何？
• RQ4 注意力图能否作为土地覆盖制图中模型决策空间检查的有意义可解释性工具？
• RQ5 该框架在具有复杂对象内部异质性的多样化土地覆盖类型和真实世界 SITS 场景中，泛化能力如何？

主要发现

• TASSEL 在两个真实世界 SITS 基准数据集上均优于最先进方法，展现出更优的预测性能，即使在弱监督条件下也保持高分类准确率。
• 注意力机制成功识别并降低无关组件的影响——例如农田中油棕树的干扰——对非判别性特征分配较低的注意力分数。
• 在林地区域，TASSEL 对植被区域赋予高注意力，对裸土区域赋予低注意力，其分配结果与土地覆盖类别正确对齐。
• 在城市区域，模型对建筑区域赋予高注意力，对植被区域赋予低注意力，准确反映了土地覆盖类别的分配逻辑。
• 生成的注意力图（α）提供了连贯且空间定位清晰的解释，支持模型透明性与专家验证。
• 该框架能有效从对象内部组件中学习到不变且具有判别性的信号，显著降低了复杂地物单元中噪声或无关特征的影响。