[论文解读] Code-Aligned Autoencoders for Unsupervised Change Detection in Multimodal Remote Sensing Images

Luigi Tommaso Luppino, Mads A. Hansen+5 more|arXiv (Cornell University)|Apr 15, 2020

Remote-Sensing Image Classification被引用 8

一句话总结

本文提出了一种用于多模态遥感图像无监督变化检测的代码对齐自编码器，利用领域特定的亲和矩阵对齐代码空间，并在训练过程中减少变化像素的影响。该方法在四个真实数据集上实现了最先进性能，且无需依赖监督变化标注，展示了在异质图像翻译和变化检测中的鲁棒性。

ABSTRACT

Image translation with convolutional autoencoders has recently been used as an approach to multimodal change detection in bitemporal satellite images. A main challenge is the alignment of the code spaces by reducing the contribution of change pixels to the learning of the translation function. Many existing approaches train the networks by exploiting supervised information of the change areas, which, however, is not always available. We propose to extract relational pixel information captured by domain-specific affinity matrices at the input and use this to enforce alignment of the code spaces and reduce the impact of change pixels on the learning objective. A change prior is derived in an unsupervised fashion from pixel pair affinities that are comparable across domains. To achieve code space alignment we enforce that pixel with similar affinity relations in the input domains should be correlated also in code space. We demonstrate the utility of this procedure in combination with cycle consistency. The proposed approach are compared with state-of-the-art deep learning algorithms. Experiments conducted on four real datasets show the effectiveness of our methodology.

研究动机与目标

• 解决在缺乏标注变化区域的情况下，多模态遥感图像中无监督变化检测的挑战。
• 通过利用输入数据中的像素关系信息，减少变化像素对自编码器训练的误导影响。
• 在不依赖对抗训练或成对数据的情况下，实现两个自编码器之间的代码空间对齐。
• 实现跨域（如光学图像到SAR图像）有意义的图像到图像翻译，以在异质数据中实现有效的变化检测。
• 开发一种鲁棒的无监督框架，能够在具有不同模态和数据特征的多样化遥感数据集中良好泛化。

提出的方法

• 该方法使用两个独立的自编码器，将来自两种不同模态（如Pleiades和WorldView-2）的图像编码到各自的代码空间中。
• 从每个域的图像块中计算亲和矩阵，以捕捉局部像素关系结构，从而实现在不同域之间的比较。
• 通过最小化输入空间中的亲和关系与其在潜在代码空间中对应表示之间的差异，强制实现代码空间对齐。
• 对齐损失确保在输入域中具有相似亲和关系的像素对在代码空间中被映射为相关联的表示。
• 通过在两个方向上沿编码器-解码器路径重建图像，应用循环一致性，以提高翻译质量和稳定性。
• 通过输入空间和潜在空间中差异图像的加权和生成变化检测图，并应用滤波以优化最终输出。

实验结果

研究问题

• RQ1 是否可以仅使用多模态图像的输入级关系信息，在无监督条件下有效实现代码空间对齐？
• RQ2 在不依赖真实变化标签的情况下，如何在自编码器训练中抑制变化像素的影响？
• RQ3 强制基于亲和关系的代码对齐是否能提升异质遥感数据中图像翻译和变化检测的质量？
• RQ4 与最先进深度学习方法相比，该方法在多样化数据集上的准确性和鲁棒性如何？
• RQ5 数据稀疏性和低维输入（如单通道图像）对代码对齐自编码器框架性能有何影响？

主要发现

• 在法国建筑工地数据集上，该方法的整体准确率达到0.859 ± 0.003，优于多种最先进方法，包括MIMDS（0.877）和TGSM（0.870），尽管略低于表现最佳的方法。
• 在加利福尼亚数据集上，该方法在PCC（皮尔逊相关系数）上达到0.882，与比较中表现最佳的方法持平。
• 在意大利数据集上，该方法在PCC上达到0.877，位列顶尖方法之中。
• 该方法在所有四个数据集上均表现出一致性能，标准差较低，表明具有高度稳定性和鲁棒性。
• 在低特征场景（如单通道输入）中观察到性能下降，原因在于从单一变量映射到多变量的病态性。
• 视觉结果证实，生成的图像（例如从Pleiades翻译到WorldView-2）保持了结构和风格的一致性，验证了有效的域迁移。