[论文解读] GAN-Based Object Removal in High-Resolution Satellite Images

Hadi Mansourifar, Steven J. Simske|arXiv (Cornell University)|Jan 24, 2023

Advanced Neural Network Applications被引用 5

一句话总结

本文提出一种基于条件生成对抗网络（CGAN）的一次性方法，用于在高分辨率卫星图像中实现物体移除，使用Canny特征图像（CFI）替代稀有的像素级分割特征图像（SFI）。该方法在CFI上训练Pix2pixHD模型，以生成逼真且无缝的物体移除效果，生成的伪造图像与真实图像几乎无法区分，该结论通过最先进的检测模型和一个包含162张伪造图像与266张原始图像的新基准数据集得到验证。

ABSTRACT

Satellite images often contain a significant level of sensitive data compared to ground-view images. That is why satellite images are more likely to be intentionally manipulated to hide specific objects and structures. GAN-based approaches have been employed to create forged images with two major problems: (i) adding a new object to the scene to hide a specific object or region may create unrealistic merging with surrounding areas; and (ii) using masks on color feature images has proven to be unsuccessful in GAN-based object removal. In this paper, we tackle the problem of object removal in high-resolution satellite images given a limited number of training data. Furthermore, we take advantage of conditional GANs (CGANs) to collect perhaps the first GAN-based forged satellite image data set. All forged instances were manipulated via CGANs trained by Canny Feature Images for object removal. As part of our experiments, we demonstrate that distinguishing the collected forged images from authentic (original) images is highly challenging for fake image detector models.

研究动机与目标

• 解决在训练数据有限的情况下，高分辨率卫星图像中物体移除的挑战。
• 通过使用Canny特征图像（CFI）作为条件输入，克服卫星数据集中稀有的像素级标注分割特征图像（SFI）的稀缺问题。
• 开发一种稳健的一次性GAN方法，用于生成保留场景语义且视觉退化最小的逼真伪造卫星图像。
• 构建并发布一个包含162张伪造图像与266张原始图像的新数据集，以支持未来的伪造检测研究。
• 证明通过CFI生成的伪造图像，使用现有二分类器和迁移学习模型极难被检测到。

提出的方法

• 将高分辨率卫星图像切分为256×256的图像块，以在数据有限的情况下实现一次性训练。
• 使用Canny特征图像（CFI）作为条件输入，基于Pix2pixHD训练条件生成对抗网络（CGAN）以实现物体移除。
• 将CFI用作稀有像素级标注SFI的替代方案，利用边缘信息引导逼真图像生成。
• 通过图像相似性度量（MSE、PSNR、SSIM）和AWS Rekognition的物体检测性能评估图像质量。
• 训练二分类器并微调MobileNetV2以评估生成图像的可检测性。
• 在ResNet50嵌入特征上使用t-SNE可视化分析伪造图像与真实图像之间的分布差异。

实验结果

研究问题

• RQ1 Canny特征图像（CFI）能否在基于CGAN的高分辨率卫星图像物体移除中有效替代像素级分割特征图像（SFI）？
• RQ2 在图像相似性和物体检测性能方面，CFI的物体移除质量与SFI相比如何？
• RQ3 基于SOTA的二分类器和迁移学习模型在多大程度上能够检测到GAN生成的伪造卫星图像？
• RQ4 一次性GAN训练范式能否在训练数据极少的情况下生成逼真且无缝的高分辨率卫星图像物体移除效果？
• RQ5 缺乏SFI标注是否显著影响CGAN基物体移除的性能，而CFI能否缓解这一局限？

主要发现

• 在4项图像相似性度量中的3项中，CFI表现优于SFI（MSE、PSNR、SSIM），平均MSE更低（0.129 vs. 0.137），PSNR更高（32.95 vs. 32.69）。
• SSIM评分显示CFI在结构保持方面更具优势（平均0.844 vs. 0.901），表明在大多数情况下具有更好的视觉保真度。
• 在AWS Rekognition上的物体检测得分显示性能下降极小：CFI在飞机检测中保持99.3%，在飞机检测中保持99.2%；而SFI在停机坪和车辆检测中出现轻微下降。
• 二分类器和迁移学习模型无法有效区分伪造图像与真实图像，AUC-ROC曲线显示分离效果差（图8），表明生成图像具有高度真实性。
• t-SNE可视化结果证实，伪造图像与真实图像在特征空间中分布接近，进一步支持其难以被检测的特性。
• 所提出的方法成功生成了一个包含162张伪造图像与266张原始图像的新数据集，并已公开发布，以支持未来伪造检测研究。