[论文解读] DeepLight: Reconstructing High-Resolution Observations of Nighttime Light With Multi-Modal Remote Sensing Data

Lixian Zhang, Runmin Dong+5 more|arXiv (Cornell University)|Feb 24, 2024

Impact of Light on Environment and HealthEnvironmental Science被引用 3

一句话总结

该论文提出 DeepLightSR，一种校准感知的多模态超分辨率方法，通过融合白天多光谱、数字高程和不透水地表数据与低分辨率夜间灯光（NTL）数据，实现高分辨率夜间灯光图像的重建。该方法在基线基础上实现了最高达 13.25 dB 的 PSNR 提升和 9.32 的 PIQE 降低，达到当前最优性能，得益于创新的 DeepLightMD 数据集以及校准感知对齐和辅助嵌入优化等组件。

ABSTRACT

Nighttime light (NTL) remote sensing observation serves as a unique proxy for quantitatively assessing progress toward meeting a series of Sustainable Development Goals (SDGs), such as poverty estimation, urban sustainable development, and carbon emission. However, existing NTL observations often suffer from pervasive degradation and inconsistency, limiting their utility for computing the indicators defined by the SDGs. In this study, we propose a novel approach to reconstruct high-resolution NTL images using multi-modal remote sensing data. To support this research endeavor, we introduce DeepLightMD, a comprehensive dataset comprising data from five heterogeneous sensors, offering fine spatial resolution and rich spectral information at a national scale. Additionally, we present DeepLightSR, a calibration-aware method for building bridges between spatially heterogeneous modality data in the multi-modality super-resolution. DeepLightSR integrates calibration-aware alignment, an auxiliary-to-main multi-modality fusion, and an auxiliary-embedded refinement to effectively address spatial heterogeneity, fuse diversely representative features, and enhance performance in $8 imes$ super-resolution (SR) tasks. Extensive experiments demonstrate the superiority of DeepLightSR over 8 competing methods, as evidenced by improvements in PSNR (2.01 dB $ \sim $ 13.25 dB) and PIQE (0.49 $ \sim $ 9.32). Our findings underscore the practical significance of our proposed dataset and model in reconstructing high-resolution NTL data, supporting efficiently and quantitatively assessing the SDG progress.

研究动机与目标

• 为解决历史低分辨率夜间灯光（NTL）观测中的退化与不一致性问题，以提升其在可持续发展目标（SDG）监测中的应用价值。
• 开发一种方法，能够在复杂、空间异质性退化（如模糊、过曝和传感器漂移）条件下，从低分辨率输入重建高分辨率 NTL 图像。
• 构建一个大规模、全国代表性、多模态遥感数据集（DeepLightMD），集成 NTL、多光谱、数字高程和不透水地表数据，并实现几何对齐与噪声抑制。
• 设计一种深度学习框架（DeepLightSR），有效融合多模态特征，同时处理空间错位与校准不一致性问题。
• 通过改进的 NTL 数据，实现对可持续发展目标进展——特别是贫困估算、城市发展和碳排放——更准确、量化的评估。

提出的方法

• DeepLightSR 采用校准感知对齐（CAA）模块，在复杂退化条件下通过校准主模态并调整辅助输入，隐式对齐空间异质性模态特征。
• 辅助到主模态的多模态融合（AMFF）模块以分层、渐进的方式提取并融合来自辅助模态（DMO、DEM、ISP）的低级与高级特征，以保留代表性且对齐的特征。
• 辅助嵌入优化（AER）模块利用不透水地表产品（ISP）的实时监督信号，指导细节重建，提升 8× 超分辨率下的感知质量和结构准确性。
• 模型采用多尺度监督信号和损失函数进行训练，损失函数包括 L1、感知损失和结构相似性（SSIM）损失，以提升图像的真实感与保真度。
• 通过交叉注意力机制集成多模态输入，实现在不同模态间进行特征交互，同时保持空间一致性。
• 在模型训练前，对 DeepLightMD 应用全面的预处理流程，以纠正几何误差、去除噪声，并实现所有模态的空间对齐。

实验结果

研究问题

• RQ1 多模态遥感数据是否能超越单模态超分辨率，在低分辨率夜间灯光图像重建质量上实现进一步提升？
• RQ2 校准感知对齐在 NTL 超分辨率中，能否有效解决异质遥感模态间的空间错位与不一致性问题？
• RQ3 各辅助模态——白天多光谱、数字高程和不透水地表数据——对最终 NTL 重建性能的相对贡献如何？
• RQ4 来自不透水地表产品的辅助监督在多大程度上提升了高分辨率 NTL 图像的感知真实感与结构细节恢复能力？
• RQ5 与现有模拟超分辨率基准相比，所提方法在真实世界退化模式（如传感器模糊、大气散射和过饱和）下的泛化能力如何？

主要发现

• 在 DeepLightMD 数据集上，DeepLightSR 相较于基线方法，PSNR 最高提升 13.25 dB，PIQE 降低 9.32。
• 若排除白天多光谱（DMO）输入，PSNR 下降 4.4 dB，CC 下降 2.46 个百分点，表明 DMO 在区分人类活动与自然区域中起关键作用。
• 若移除数字高程模型（DEM），SAM 下降 1.94 个百分点，CC 下降 2.5 个百分点，凸显其在空间校准与对齐中的重要性。
• 辅助嵌入优化（AER）模块显著提升感知质量，相比无该模块的消融版本，PIQE 降低 1.7 个百分点。
• 包含所有组件的完整模型 PSNR 达 32.39 dB，PIQE 为 8.55，在所有 8 种对比方法中各项评估指标均表现最优。
• 消融实验验证了 CAA、AMFF 和 AER 每个组件均具有独特且关键的作用：CAA 实现特征对齐，AMFF 提升特征融合，AER 改善结构细节恢复与过曝抑制。