[论文解读] Convolutional Neural Processes for Inpainting Satellite Images

Alexander Pondaven, Märt Bakler+4 more|arXiv (Cornell University)|May 24, 2022

Medical Image Segmentation Techniques被引用 5

一句话总结

本文提出使用卷积神经过程（ConvNPs）对因扫描线故障导致数据缺失的LANDSAT 7卫星图像进行图像修复。通过将每幅图像视为独立的元学习任务，ConvNPs 利用时空结构，在仅使用少量训练数据的情况下，优于经典方法和深度学习方法，在分布内和分布外图像上均实现了最先进性能。

ABSTRACT

The widespread availability of satellite images has allowed researchers to model complex systems such as disease dynamics. However, many satellite images have missing values due to measurement defects, which render them unusable without data imputation. For example, the scanline corrector for the LANDSAT 7 satellite broke down in 2003, resulting in a loss of around 20\% of its data. Inpainting involves predicting what is missing based on the known pixels and is an old problem in image processing, classically based on PDEs or interpolation methods, but recent deep learning approaches have shown promise. However, many of these methods do not explicitly take into account the inherent spatiotemporal structure of satellite images. In this work, we cast satellite image inpainting as a natural meta-learning problem, and propose using convolutional neural processes (ConvNPs) where we frame each satellite image as its own task or 2D regression problem. We show ConvNPs can outperform classical methods and state-of-the-art deep learning inpainting models on a scanline inpainting problem for LANDSAT 7 satellite images, assessed on a variety of in and out-of-distribution images.

研究动机与目标

• 解决因机械故障（如LANDSAT 7扫描线校正器故障）导致的卫星图像数据缺失问题。
• 通过显式建模卫星图像固有的时空结构，提升图像修复性能。
• 利用少样本元学习开发全局图像修复解决方案，避免在所有地球区域进行大规模训练的需求。
• 在分布内和分布外卫星图像上评估性能，证明模型在训练数据之外的泛化能力。

提出的方法

• 将卫星图像修复问题建模为元学习问题，将每幅图像视为独立的二维回归任务。
• 使用卷积神经过程（ConvNPs），包括ConvCNP和ConvLNP变体，对缺失像素的预测分布进行建模。
• 采用多尺度结构相似性（MS-SSIM）损失函数，以提升图像的清晰度和感知质量。
• 在包含800幅卫星图像的小型数据集（128×128或64×64）上进行训练，通过合成扫描线缺陷来模拟真实世界中的图像退化。
• 在ConvLNP中利用潜在变量建模复杂数据分布，提升预测不确定性和准确性。
• 通过分块推理方式将训练好的模型应用于大尺寸1024×1024图像的修复，实现可扩展的全球应用。

实验结果

研究问题

• RQ1 ConvNPs 是否能有效泛化到训练过程中未见过的分布外卫星图像，从而实现全球范围的图像修复？
• RQ2 与经典方法和基于深度学习的图像修复方法相比，ConvNPs 在扫描线损坏的LANDSAT 7图像上的性能如何？
• RQ3 与标准深度学习模型相比，ConvNPs 在多大程度上利用了时空结构以提升修复质量？
• RQ4 ConvNPs 是否能仅用少量训练图像实现高质量修复，从而体现少样本学习能力？
• RQ5 在下游回归任务中，使用修复后的图像而非原始干净图像时，ConvNPs 的表现如何？

主要发现

• ConvLNP 在下游合成回归任务中表现最佳，其结果与使用干净图像获得的结果非常接近。
• ConvLNP 在分布内和分布外卫星图像上均优于所有其他模型，包括U-Net和Partial Conv。
• ConvNPs 展现出强大的零样本泛化能力，仅需在少量时空位置上进行训练，即可实现全球范围的图像修复。
• 模型在扫描线修复任务上达到了最先进水平，优于经典方法（如Navier-Stokes）和现代深度学习基线模型。
• 尽管输出图像较为模糊，Partial Conv 的MAPE略优于ConvCNP，表明感知质量与定量误差之间存在权衡。
• 模型在64×64图像修复上表现稳定，但在当前训练设置下，128×128图像的预测结果不稳定。