[论文解读] Cross-Sensor Adversarial Domain Adaptation of Landsat-8 and Proba-V images for Cloud Detection

Gonzalo Mateo‐García, Valero Laparra+2 more|arXiv (Cornell University)|Jan 1, 2020

Remote-Sensing Image Classification参考文献 65被引用 34

一句话总结

本文提出一种未配对的、基于 CycleGAN 的领域自适应，将 Proba-V 与 Landsat-8 放大后的数据对齐，从而改进跨传感器的云检测迁移。

ABSTRACT

The number of Earth observation satellites carrying optical sensors with similar characteristics is constantly growing. Despite their similarities and the potential synergies among them, derived satellite products are often developed for each sensor independently. Differences in retrieved radiances lead to significant drops in accuracy, which hampers knowledge and information sharing across sensors. This is particularly harmful for machine learning algorithms, since gathering new ground truth data to train models for each sensor is costly and requires experienced manpower. In this work, we propose a domain adaptation transformation to reduce the statistical differences between images of two satellite sensors in order to boost the performance of transfer learning models. The proposed methodology is based on the Cycle Consistent Generative Adversarial Domain Adaptation (CyCADA) framework that trains the transformation model in an unpaired manner. In particular, Landsat-8 and Proba-V satellites, which present different but compatible spatio-spectral characteristics, are used to illustrate the method. The obtained transformation significantly reduces differences between the image datasets while preserving the spatial and spectral information of adapted images, which is hence useful for any general purpose cross-sensor application. In addition, the training of the proposed adversarial domain adaptation model can be modified to improve the performance in a specific remote sensing application, such as cloud detection, by including a dedicated term in the cost function. Results show that, when the proposed transformation is applied, cloud detection models trained in Landsat-8 data increase cloud detection accuracy in Proba-V.

研究动机与目标

• 推动跨传感器迁移学习在遥感中的应用，在不同卫星导致辐射度量和纹理分布差异的情境。
• 开发一个领域自适应管道，在没有成对数据的情况下减少传感器之间的差异。
• 通过学习目标域变换，使在 Landsat-8 上训练的云检测模型在 Proba-V 图像上表现更好。

提出的方法

• 将 Landsat-8 提升至 Proba-V 的光谱和空间特性，以创建 LU 数据作为训练域。
• 设计一个对抗型领域自适应（A），使用循环一致的 GAN（G_PV->LU 和 G_LU->PV）在未配对的设置中将 Proba-V 与 LU 域对齐。
• 结合身份、循环和分割一致性损失，以强制实现真实且与任务相关的翻译。
• 使用在 LU 训练的云检测器对 PV 翻译进行监督，应用 KL 散度分割损失。
• 提供地面真值数据集和伪同时对，以在不需要成对传感器的条件下训练和评估 DA 模型。

实验结果

研究问题

• RQ1 未配对的领域自适应是否能将 Proba-V 图像转换为类似 Landsat-8 放大后图像的样式，以改进云检测迁移？
• RQ2 身份、循环和分割损失对自适应质量及下游云检测性能的贡献有多大？
• RQ3 所提出的 PV->LU 转换是否足以保留云和空间-光谱信息，以实现有效迁移？
• RQ4 DA 转换对 Proba-V 图像的辐射度分布和空间频率成分有何影响？
• RQ5 该方法是否可以在没有 Landsat-8 与 Proba-V 同时对的情况下工作？

主要发现

• PV->LU 适配移除了蓝色饱和，并使 Proba-V 的辐射分布类似 Landsat-8 放大数据。
• 经过适配的 PV 图像显示出比原始 PV 更高的空间频率内容，更接近 LU，表明细节传递有所提升。
• 应用 DA 转换后，基于 LU 训练的模型在 PV 数据上的云检测性能优于未进行自适应的情况。
• 该框架支持消融研究，显示身份、循环和分割损失对性能的作用。
• 该方法在没有成对传感器数据的情况下运行，并利用伪同时数据集来训练 DA 模型。