[论文解读] Exploring Wilderness Characteristics Using Explainable Machine Learning in Satellite Imagery

Timo T. Stomberg, Taylor Stone+3 more|arXiv (Cornell University)|Mar 1, 2022

Hydrology and Watershed Management Studies被引用 6

一句话总结

本文提出了一种可解释机器学习方法——激活空间遮挡敏感性（ASOS），用于分析哨兵-2卫星影像，以检测芬诺斯堪迪亚地区的荒野与人类影响区域。通过遮挡深度神经网络中的激活值并测量敏感性变化，ASOS生成高分辨率、可解释的图像，揭示自然植被、裸土和砍伐森林等关键生态特征，从而实现对保护区的稳健监测，并支持可持续土地利用规划。

ABSTRACT

Wilderness areas offer important ecological and social benefits and there are urgent reasons to discover where their positive characteristics and ecological functions are present and able to flourish. We apply a novel explainable machine learning technique to satellite images which show wild and anthropogenic areas in Fennoscandia. Occluding certain activations in an interpretable artificial neural network we complete a comprehensive sensitivity analysis regarding wild and anthropogenic characteristics. This enables us to predict detailed and high-resolution sensitivity maps highlighting these characteristics. Our artificial neural network provides an interpretable activation space increasing confidence in our method. Within the activation space, regions are semantically arranged. Our approach advances explainable machine learning for remote sensing, offers opportunities for comprehensive analyses of existing wilderness, and has practical relevance for conservation efforts.

研究动机与目标

• 开发一种新颖的、可解释的机器学习方法，用于识别卫星影像中的荒野特征。
• 通过激活空间遮挡技术，实现对自然植被、裸土和砍伐森林等生态特征的高分辨率敏感性制图。
• 通过检测和监测芬诺斯堪迪亚地区的荒野区域与人类影响，支持保护政策与土地利用规划。
• 在卫星影像和通用图像数据集上验证该方法，证明其更广泛的应用潜力。
• 提供开源工具和AnthroProtect数据集，以促进遥感与保护研究的可重现性与透明性。

提出的方法

• 该方法采用一种可解释的神经网络，基于芬诺斯堪迪亚地区受保护（荒野）和人为影响（人类活动）区域的哨兵-2影像进行训练。
• 激活空间遮挡敏感性（ASOS）通过遮挡隐藏层中特定神经元的激活值，并测量模型输出的变化，以确定特征的敏感性。
• 通过分析遮挡激活对分类置信度的影响，生成敏感性图，实现高分辨率的空间归因。
• 与输入图像遮挡敏感性（IIOS）相比，该方法在定位生态相关特征方面表现更优。
• 通过CutMix、旋转和随机遮挡等数据增强技术进行模型训练，以提升鲁棒性与泛化能力。
• 在Places365-Standard数据集上进行验证，以证明其在遥感之外领域的可迁移性。

实验结果

研究问题

• RQ1 激活空间遮挡敏感性（ASOS）如何提升深度学习模型在卫星图像分析中的可解释性？
• RQ2 在芬诺斯堪迪亚卫星影像中，ASOS能够可靠检测哪些特定荒野特征，如自然植被、裸土或砍伐森林？
• RQ3 在遥感应用中，ASOS与输入级遮挡方法（如IIOS）相比，在性能和定位精度方面表现如何？
• RQ4 ASOS在未见区域中检测生态有意义模式的能力有多强，能否支持保护监测？
• RQ5 ASOS是否可有效应用于卫星影像之外的场景，例如通用图像分类任务？

主要发现

• ASOS在芬诺斯堪迪亚卫星影像中以高空间分辨率成功识别出自然植被、受干扰和自然裸土以及砍伐区域等关键生态特征。
• 与IIOS相比，ASOS在定位生态相关特征方面表现更优，尤其在检测遥感中常见的面状结构而非仅边缘方面更具优势。
• ASOS生成的敏感性图突出了激活空间中高敏感区域，表明自然与人为特征在模型内部表征中具有明显区分。
• 在Places365数据集中，ASOS有效识别出风车叶片和室内布局等显著特征，证实其在遥感之外领域的泛化能力。
• ASOS生成的敏感性图显示，中性区域（低敏感度）在卫星影像中出现频率低于在照片中，表明遥感中面状模式更具显著性。
• 开源代码和AnthroProtect数据集已公开，支持可重现性，并推动保护与遥感研究领域的广泛应用。