[论文解读] Geo-DefakeHop: High-Performance Geographic Fake Image Detection

Hong-Shuo Chen, Kaitai Zhang+3 more|arXiv (Cornell University)|Oct 19, 2021

Advanced Image and Video Retrieval Techniques参考文献 8被引用 11

一句话总结

Geo-DefakeHop 是一种基于并行子空间学习（PSL）的轻量化、高性能虚假卫星图像检测方法，通过多组滤波器库提取图像的判别性频域响应。该方法在各种图像操作（包括重采样、压缩和噪声）下均实现超过95%的F1分数，模型参数量范围为0.8K至62K。

ABSTRACT

A robust fake satellite image detection method, called Geo-DefakeHop, is proposed in this work. Geo-DefakeHop is developed based on the parallel subspace learning (PSL) methodology. PSL maps the input image space into several feature subspaces using multiple filter banks. By exploring response differences of different channels between real and fake images for a filter bank, Geo-DefakeHop learns the most discriminant channels and uses their soft decision scores as features. Then, Geo-DefakeHop selects a few discriminant features from each filter bank and ensemble them to make a final binary decision. Geo-DefakeHop offers a light-weight high-performance solution to fake satellite images detection. Its model size is analyzed, which ranges from 0.8 to 62K parameters. Furthermore, it is shown by experimental results that it achieves an F1-score higher than 95\% under various common image manipulations such as resizing, compression and noise corruption.

研究动机与目标

• 开发一种鲁棒且轻量化的虚假卫星图像检测方法，以应对由于 GAN 生成的逼真度不断提高而使真实与虚假图像更难区分的挑战。
• 解决在国家安全和灾害管理等高风险应用中检测虚假地理空间图像的难题。
• 通过聚焦判别性频域响应，克服人类视觉感知和 GAN 在保留高频分量方面的局限性。
• 通过极小的模型尺寸实现在边缘设备上的部署，确保在真实场景中的实际可用性。
• 通过空间频率响应热图提供可解释性，提升模型的透明度。

提出的方法

• 利用并行子空间学习（PSL）将卫星图像映射到多个特征子空间，通过滤波器库捕捉空间频率响应。
• 通过比较真实与虚假图像响应，从每组滤波器库中提取最具有判别性的通道的软决策分数。
• 基于真实与虚假图像响应差异，从每组滤波器库中选择最具判别性的特征子集。
• 使用 XGBoost 分类器对来自多个滤波器库的选定特征进行集成，生成图像真实性的最终二元判断。
• 采用通道级和集成级 XGBoost 分类器，支持可配置的树深度和树的数量，以优化模型大小与性能。
• 通过热图可视化预测结果和频率响应，提升可解释性与模型透明度。

实验结果

研究问题

• RQ1 能否有效利用真实与虚假卫星图像在频域响应上的差异进行检测？
• RQ2 Geo-DefakeHop 在常见图像操作（如重采样、压缩和噪声污染）下的表现如何？
• RQ3 在轻量化虚假图像检测系统中，模型大小与检测性能之间的权衡关系如何？
• RQ4 与单滤波器或手工设计特征方法相比，使用多组滤波器库和 PSL 是否能提升鲁棒性与准确性？
• RQ5 模型预测在多大程度上可通过空间与频率响应可视化实现可解释性？

主要发现

• Geo-DefakeHop 在所有测试的图像操作下均实现超过95%的F1分数，包括重采样、JPEG压缩（QF=0.75–0.95）以及加性白高斯噪声。
• 模型在JPEG压缩下保持高性能，F1分数分别为97.91%（QF=0.85）和97.92%（QF=0.75），表明对保真度损失具有强鲁棒性。
• 图像重采样对检测性能影响最小，而加性白高斯噪声导致性能下降最大，与信号处理的直觉一致。
• 模型参数量根据输入类型和滤波器库配置在0.8K至62K之间，支持在边缘设备上部署。
• 采用PixelHop A、B和C的集成设计，原始图像模型大小为2.5K，重采样输入最大达61.7K，展现出良好的可扩展性。
• 热图可视化有效揭示了空间模式与频率通道响应，显著增强了模型的可解释性与诊断能力。