[论文解读] DeepSWIR: A Deep Learning Based Approach for the Synthesis of Short-Wave InfraRed Band using Multi-Sensor Concurrent Datasets

Litu Rout, Yatharath Bhateja+4 more|arXiv (Cornell University)|May 7, 2019

Remote-Sensing Image Classification被引用 7

一句话总结

本文提出 DeepSWIR，一种深度学习框架，通过利用 LISS-III 和 LISS-IV 传感器的同步 24m 和 5m 分辨率波段，合成 5m 空间分辨率的短波红外（SWIR）波段。通过融合低分辨率 SWIR 的光谱映射与高分辨率可见光/近红外波段的空间细节，该模型实现了高保真度的超分辨率，优于插值方法，并在与 Sentinel-2B TOA 反照率的辐射一致性方面表现良好，且在湿地制图中具有实际应用价值。

ABSTRACT

Convolutional Neural Network (CNN) is achieving remarkable progress in various computer vision tasks. In the past few years, the remote sensing community has observed Deep Neural Network (DNN) finally taking off in several challenging fields. In this study, we propose a DNN to generate a predefined High Resolution (HR) synthetic spectral band using an ensemble of concurrent Low Resolution (LR) bands and existing HR bands. Of particular interest, the proposed network, namely DeepSWIR, synthesizes Short-Wave InfraRed (SWIR) band at 5m Ground Sampling Distance (GSD) using Green (G), Red (R) and Near InfraRed (NIR) bands at both 24m and 5m GSD, and SWIR band at 24m GSD. To our knowledge, the highest spatial resolution of commercially deliverable SWIR band is at 7.5m GSD. Also, we propose a Gaussian feathering based image stitching approach in light of processing large satellite imagery. To experimentally validate the synthesized HR SWIR band, we critically analyse the qualitative and quantitative results produced by DeepSWIR using state-of-the-art evaluation metrics. Further, we convert the synthesized DN values to Top Of Atmosphere (TOA) reflectance and compare with the corresponding band of Sentinel-2B. Finally, we show one real world application of the synthesized band by using it to map wetland resources over our region of interest.

研究动机与目标

• 解决商业遥感中高分辨率 SWIR 数据稀缺的问题，目前最高可用分辨率为 7.5m（例如 WorldView-3）。
• 通过利用 LISS-III 和 LISS-IV 的现有 24m 和 5m 分辨率波段，合成虚拟的 5m SWIR 波段，以克服缺乏同步 5m SWIR 数据的局限。
• 开发一种深度学习模型，以保留低分辨率 SWIR 的光谱特性，同时利用高分辨率可见光和近红外波段提升空间分辨率。
• 通过定量指标和真实应用场景（如湿地资源制图）验证合成波段的有效性。
• 提出一种基于高斯柔化（Gaussian feathering）的图像拼接方法，实现大范围卫星影像的无缝处理。

提出的方法

• 在 LISS-III 的同步 24m 波段（G、R、NIR、SWIR）上端到端训练一种定制的卷积神经网络（CNN），命名为 DeepSWIR，以学习光谱映射。
• 利用训练好的模型，通过融合 5m LISS-IV 的 G、R、NIR 波段的空间细节与 24m LISS-III SWIR 的光谱特征，合成 5m SWIR 波段。
• 利用尺度不变性假设，通过将 24m 波段下采样至更低分辨率来生成合成训练数据，以保持相对分辨率差异。
• 在波段合成后，应用高斯柔化方法无缝拼接大范围卫星影像，最大限度减少接缝伪影。
• 将合成 SWIR 波段的数字数（DN）值转换为地表顶部（TOA）反照率，以便与 Sentinel-2B 的 TOA 反照率进行辐射对比。
• 采用一种简单但有效的湿地边界提取算法，评估合成波段在真实应用场景中的实用价值。

实验结果

研究问题

• RQ1 深度学习模型能否仅利用多传感器平台的同步 24m 和 5m 分辨率波段，有效合成 5m 空间分辨率的 SWIR 波段？
• RQ2 合成的 SWIR 波段在实现 5m 空间分辨率的同时，对原始 24m SWIR 波段的光谱特性保留程度如何？
• RQ3 合成波段在同质地表区域与 Sentinel-2B 实际 SWIR 数据的 TOA 反照率匹配程度如何？
• RQ4 与插值或低分辨率 SWIR 数据相比，合成 SWIR 波段是否能提升湿地资源制图的准确性？
• RQ5 所提出的基于高斯柔化方法的图像拼接技术，在实现大范围卫星影像无缝处理方面的有效性如何？

主要发现

• 合成的 5m SWIR 波段在同质特征区域与 Sentinel-2B 的 TOA 反照率具有显著的辐射相似性，验证了其光谱保真度。
• 定量评估表明，DeepSWIR 模型在保留空间与光谱细节方面优于传统插值与融合方法。
• 合成 SWIR 波段能够准确勾勒出狭窄的湿地特征，而仅使用 5m NIR 和可见光波段时则会遗漏这些细节。
• 与仅使用高分辨率可见光和 NIR 波段相比，使用合成 SWIR 波段可显著减少湿地制图中的误报。
• 基于高斯柔化的拼接方法成功实现了大范围卫星影像的无缝拼接，且可见伪影极少。
• 该模型通过学习真实 24m 数据的光谱映射实现高性能超分辨率，避免了训练数据中因合成下采样引入的噪声。