[论文解读] Detecting Changes Between Optical Images of Different Spatial and Spectral Resolutions: a Fusion-Based Approach

Vinicius Ferraris, Nicolas Dobigeon+2 more|Open Archive Toulouse Archive Ouverte (University of Toulouse)|Sep 20, 2016

Remote-Sensing Image Classification参考文献 26被引用 4

一句话总结

本文提出了一种新颖的基于融合的框架，用于处理空间分辨率和光谱分辨率不匹配的光学图像之间的无监督变化检测，例如全色/多光谱图像和高光谱图像。通过将低分辨率空间图像与低分辨率光谱图像融合为高分辨率伪图像，生成与输入图像分辨率匹配的预测图像，并对匹配的图像对应用变化检测，该方法在真实数据实验中实现了优于传统方法的检测精度，AUC最高达0.991。

ABSTRACT

Change detection is one of the most challenging issues when analyzing remotely sensed images. Comparing several multi-date images acquired through the same kind of sensor is the most common scenario. Conversely, designing robust, flexible and scalable algorithms for change detection becomes even more challenging when the images have been acquired by two different kinds of sensors. This situation arises in case of emergency under critical constraints. This paper presents, to the best of authors' knowledge, the first strategy to deal with optical images characterized by dissimilar spatial and spectral resolutions. Typical considered scenarios include change detection between panchromatic or multispectral and hyperspectral images. The proposed strategy consists of a 3-step procedure: i) inferring a high spatial and spectral resolution image by fusion of the two observed images characterized one by a low spatial resolution and the other by a low spectral resolution, ii) predicting two images with respectively the same spatial and spectral resolutions as the observed images by degradation of the fused one and iii) implementing a decision rule to each pair of observed and predicted images characterized by the same spatial and spectral resolutions to identify changes. The performance of the proposed framework is evaluated on real images with simulated realistic changes.

研究动机与目标

• 解决因传感器类型不同而导致的空间与光谱分辨率不匹配的光学图像中，缺乏鲁棒、灵活且可扩展的变化检测方法的问题。
• 克服传统方法假设传感器特性相同，或依赖次优重采样与插值技术的局限性。
• 开发一个统一框架，适用于仅能获取异质图像对的应急场景。
• 通过利用低空间分辨率与低光谱分辨率图像之间的互补信息，实现精确的变化检测。
• 提供一种基于物理原理的无监督方法，无需标注的变化数据或变化位置的先验知识。

提出的方法

• 利用基于物理的图像融合模型，将两幅输入图像——一幅具有低空间分辨率但高光谱分辨率（如高光谱图像），另一幅具有低光谱分辨率但高空间分辨率（如全色图像）——融合为一幅高分辨率、高光谱的伪图像。
• 从融合生成的伪图像中预测两幅图像：一幅匹配高空间分辨率输入的空间分辨率，另一幅匹配高光谱分辨率输入的光谱分辨率，使用退化模型。
• 对具有相同空间和光谱分辨率的观测图像与预测图像对，应用标准的变化检测技术（例如CVA，空间正则化CVA）。
• 通过在变化检测步骤中引入局部空间上下文信息，利用空间正则化变化向量分析（sCVA）进一步提升检测精度。
• 将融合步骤建模为一个约束优化问题，以保持光谱一致性和空间一致性。
• 通过真实数据实验验证该框架，实验中模拟了变化情况，采用AUC和归一化距离作为性能度量指标。

实验结果

研究问题

• RQ1 能否开发一个统一框架，实现对空间与光谱分辨率不同的光学图像（如高光谱与全色图像）之间的变化检测？
• RQ2 如何有效结合低空间分辨率与低光谱分辨率图像中的互补信息，以提升变化检测的准确性？
• RQ3 所提出的基于融合的预测策略在变化检测中，相较于传统重采样与插值技术，其性能提升程度如何？
• RQ4 在变化检测步骤中引入空间正则化，是否能显著提高检测精度并减少异质图像对中的误报？
• RQ5 所提出的三步流程（融合、预测、检测）是否可推广至光学遥感以外的其他图像模态？

主要发现

• 在HR-MS场景中，所提方法的AUC达到0.991192，在HR-PAN场景中达到0.991545，显著优于最差情况下的方法（分别为AUC 0.937878和0.971988）。
• 该框架生成的高分辨率变化检测图（$\hat{\mathbf{D}}_{\mathrm{HR}}$）表现出更高的检测率与精度，归一化距离为0.959296，表明其具有高准确性。
• 在CVA方法中引入空间正则化（sCVA）进一步提升了性能，在HR-PAN场景中AUC达到0.989493，归一化距离为0.958996。
• 该框架优于将两幅图像重采样至统一分辨率的标准方法，后者在光谱分辨率退化方面导致性能显著下降。
• 图6和图7的视觉结果证实，估计的高分辨率CD图比低分辨率图更清晰、更准确，误报更少，且对小范围变化的定位更优。
• 该方法在不同变化尺寸下（从1×1到61×61像素）均表现出鲁棒性，保持了高检测保真度。