[论文解读] Deep Learning for Change Detection in Remote Sensing Images: Comprehensive Review and Meta-Analysis

Lazhar Khelifi, Max Mignotte|arXiv (Cornell University)|Jun 10, 2020

Remote-Sensing Image Classification被引用 13

一句话总结

本文对遥感图像变化检测中的深度学习（DL）方法进行了全面综述与元分析，将现有方法分类为完全监督、完全无监督以及基于迁移学习的方法。文章指出，深度强化学习与弱监督学习是未来有前景的研究方向，为推进地理空间应用中的自动化变化检测提供了基础参考。

ABSTRACT

Deep learning (DL) algorithms are considered as a methodology of choice for remote-sensing image analysis over the past few years. Due to its effective applications, deep learning has also been introduced for automatic change detection and achieved great success. The present study attempts to provide a comprehensive review and a meta-analysis of the recent progress in this subfield. Specifically, we first introduce the fundamentals of deep learning methods which arefrequently adopted for change detection. Secondly, we present the details of the meta-analysis conducted to examine the status of change detection DL studies. Then, we focus on deep learning-based change detection methodologies for remote sensing images by giving a general overview of the existing methods. Specifically, these deep learning-based methods were classified into three groups; fully supervised learning-based methods, fully unsupervised learning-based methods and transfer learning-based techniques. As a result of these investigations, promising new directions were identified for future research. This study will contribute in several ways to our understanding of deep learning for change detection and will provide a basis for further research.

研究动机与目标

• 系统性地回顾并元分析近期遥感图像变化检测中深度学习的进展。
• 将基于深度学习的变化检测方法划分为三大范式：完全监督、完全无监督以及基于迁移学习的方法。
• 识别当前方法中的关键挑战，特别是人工标注成本高昂以及弱监督设置下性能有限的问题。
• 提出两个有前景的未来研究方向：深度强化学习与弱监督变化检测。
• 通过整合最先进技术并突出开放挑战，为未来研究提供结构化基础。

提出的方法

• 对深度学习与遥感图像变化检测领域的同行评审出版物进行了元分析，重点聚焦于方法论分类与性能趋势。
• 将基于深度学习的变化检测方法划分为三类：完全监督学习、完全无监督学习以及基于迁移学习的技术。
• 回顾了关键的深度学习架构，如自编码器、孪生网络以及卷积神经网络（CNNs），用于双时相图像对中的特征学习。
• 分析了孪生网络中对比损失与三元组损失的使用，以学习用于变化检测的判别性特征。
• 探索了强化学习与深度强化学习（DRL）在将变化检测建模为序列决策过程中的集成应用。
• 评估了弱监督学习（WSL）策略，包括不完整、不精确与不准确的监督，以减少对完全标注数据集的依赖。

实验结果

研究问题

• RQ1 近期遥感图像变化检测方法中，主流的深度学习架构与训练范式是什么？
• RQ2 在性能与真实遥感数据适用性方面，完全监督、完全无监督以及基于迁移学习的方法如何比较？
• RQ3 当前弱监督学习方法在变化检测中的关键局限是什么，特别是关于定位精度与标签噪声的问题？
• RQ4 如何通过将检测过程建模为序列决策问题，利用深度强化学习来提升变化检测性能？
• RQ5 在推动遥感图像中基于深度学习的变化检测方面，最具前景的未来研究方向是什么？

主要发现

• 基于深度学习的变化检测方法通过从大规模遥感数据中自动学习分层复杂表征，显著优于传统手工设计特征方法。
• 完全监督的深度学习方法虽能达到高精度，但需要大量完全标注的训练数据，而这类数据的获取成本高且耗时。
• 完全无监督方法，如使用对比损失的自编码器与孪生网络，展现出强大潜力，可在无真实标签的情况下学习有意义的表征。
• 基于迁移学习的方法能有效将预训练模型适配到新数据集或传感器，从而在低资源场景中减少对大量标注数据的需求。
• 弱监督学习在此领域仍发展不足，现有方法在复杂城市或杂乱背景中难以准确实现变化定位。
• 深度强化学习通过将检测过程建模为一系列动作以优化变化区域预测，提供了一种新颖的框架，但在遥感领域仍基本未被探索。