[论文解读] Artificial Generation of Big Data for Improving Image Classification: A Generative Adversarial Network Approach on SAR Data

Dimitrios Marmanis, Wei Yao+6 more|arXiv (Cornell University)|Nov 6, 2017

Synthetic Aperture Radar (SAR) Applications and TechniquesEngineering参考文献 8被引用 17

一句话总结

本文提出了首个大规模、全标注的SAR图像数据集，包含超过60,000个图像块，覆盖七个城市及近郊类别，并利用ResNet-50对SAR分类任务进行深度学习评估，准确率达到93.2%。此外，研究还探索了基于GAN的合成数据生成方法，采用改进的BEGAN模型进行数据增强，尽管生成的合成图像在视觉上逼真，但初始结果表明分类性能未见提升。

ABSTRACT

Very High Spatial Resolution (VHSR) large-scale SAR image databases are still an unresolved issue in the Remote Sensing field. In this work, we propose such a dataset and use it to explore patch-based classification in urban and periurban areas, considering 7 distinct semantic classes. In this context, we investigate the accuracy of large CNN classification models and pre-trained networks for SAR imaging systems. Furthermore, we propose a Generative Adversarial Network (GAN) for SAR image generation and test, whether the synthetic data can actually improve classification accuracy.

研究动机与目标

• 为解决遥感领域深度学习中大规模、全标注SAR图像数据集稀缺的问题。
• 评估深度卷积神经网络（CNN），特别是ResNet-50，在超高分辨率SAR数据上的图像块分类性能。
• 探究通过GAN生成的SAR图像是否能有效提升分类准确率。
• 探索从光学预训练模型迁移学习的可行性，并评估其在SAR图像分类任务中的相关性。
• 开发并适配一种基于GAN的方法（BEGAN），实现大规模、逼真的SAR图像合成。

提出的方法

• 从覆盖六大洲的288景TerraSAR-X影像中构建大规模SAR图像数据集，采用HH极化、2.9米分辨率、160×160像素的图像块。
• 在真实数据集上从头开始训练ResNet-50分类器，并将最后几层调整为7分类任务。
• 对BEGAN GAN架构进行改进以实现SAR图像生成，测试三种场景：全尺寸（160×160）、中间尺寸（80×80经下采样）和简化尺寸（80×80经裁剪）。
• 将‘简化’场景生成的合成图像块上采样至160×160，并加入真实训练集以微调分类器。
• 在添加合成SAR图像前后，评估分类准确率的变化。
• 采用8位强度转换及空间裁剪/下采样方法，统一GAN与分类器训练的输入标准。

实验结果

研究问题

• RQ1 大规模、全标注的SAR图像数据集是否能够支持高性能深度学习分类？
• RQ2 在SAR数据上微调预训练的ResNet-50是否优于从光学预训练模型迁移学习？
• RQ3 通过GAN生成的SAR图像是否能有效增强真实训练数据，从而提升分类准确率？
• RQ4 当前GAN架构在大规模生成逼真SAR图像块方面存在哪些局限性？
• RQ5 合成数据中空间上下文与分辨率不匹配如何影响下游分类性能？

主要发现

• 所提出的超过60,000个SAR图像块数据集可支持深度CNN模型训练，并实现93.2%的分类准确率，达到当前最优水平，覆盖七个语义类别。
• 使用光学图像权重进行预训练未带来显著优势，表明光学与SAR图像统计特性之间存在显著域偏移。
• 基于BEGAN的GAN在‘简化’场景（80×80裁剪图像块）下成功生成了视觉上逼真的SAR图像块，但空间上下文信息有所减少。
• 尽管生成的合成图像在视觉上逼真，但添加5,100张合成图像（主要为‘居住区’类别）后，分类器的准确率仍保持在93.2%，未见提升或下降。
• 性能未提升表明，当前合成数据可能在多样性或语义保真度方面不足，无法有效帮助分类器，尽管其视觉真实性较高。
• 本研究证实，当拥有足够标注数据时，深度学习模型可在SAR数据上实现高准确率，为基于图像块的SAR分类设立了新基准。