[论文解读] ColorMapGAN: Unsupervised Domain Adaptation for Semantic Segmentation Using Color Mapping Generative Adversarial Networks

Onur Taşar, S L Happy+2 more|arXiv (Cornell University)|Jul 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 74被引用 33

一句话总结

本文提出ColorMapGAN，一种用于遥感语义分割的新型无监督域自适应框架，通过可学习的颜色映射，利用轻量级生成对抗网络将测试图像的光谱分布迁移至训练图像。通过一次矩阵乘法与加法操作，生成器可生成语义一致但光谱适配的虚假训练图像，从而实现对预训练分类器的有效微调，并在显著缩短训练时间的前提下，实现比现有基于GAN的方法更优的SOTA性能。

ABSTRACT

Due to the various reasons such as atmospheric effects and differences in acquisition, it is often the case that there exists a large difference between spectral bands of satellite images collected from different geographic locations. The large shift between spectral distributions of training and test data causes the current state of the art supervised learning approaches to output unsatisfactory maps. We present a novel semantic segmentation framework that is robust to such shift. The key component of the proposed framework is Color Mapping Generative Adversarial Networks (ColorMapGAN), which can generate fake training images that are semantically exactly the same as training images, but whose spectral distribution is similar to the distribution of the test images. We then use the fake images and the ground-truth for the training images to fine-tune the already trained classifier. Contrary to the existing Generative Adversarial Networks (GANs), the generator in ColorMapGAN does not have any convolutional or pooling layers. It learns to transform the colors of the training data to the colors of the test data by performing only one element-wise matrix multiplication and one matrix addition operations. Thanks to the architecturally simple but powerful design of ColorMapGAN, the proposed framework outperforms the existing approaches with a large margin in terms of both accuracy and computational complexity.

研究动机与目标

• 解决训练与测试卫星图像之间光谱分布存在显著域偏移的问题，此类偏移会降低当前SOTA卷积神经网络（CNN）语义分割模型的性能。
• 克服传统数据增强与非学习型色彩校正方法在大光谱偏移下失效的局限性。
• 开发一种计算效率高且效果显著的遥感无监督域自适应方法，尤其针对语义分割任务。
• 即使训练与测试数据来自不同地理区域且具有不同的大气与辐射条件，也能生成高质量的语义分割图。

提出的方法

• 提出ColorMapGAN，一种生成对抗网络，其生成器仅通过一次逐元素矩阵乘法与一次矩阵加法，将训练图像的颜色转换为与测试图像的光谱分布相匹配。
• 设计生成器时完全避免使用卷积或池化层，仅依赖可学习的颜色变换矩阵，以在保持语义一致性的同时适应光谱特性。
• 使用对抗损失训练生成器，使生成的虚假图像在判别器眼中与真实测试图像难以区分，同时通过原始训练数据的真实标签监督保持语义保真度。
• 使用真实训练图像与生成的虚假图像联合微调预训练的语义分割分类器，以提升对目标域的泛化能力。
• 采用判别器区分真实测试图像与ColorMapGAN生成的虚假图像，以强制生成图像具备逼真的光谱外观。
• 在TensorFlow中端到端实现该框架，兼顾性能与训练效率，单张GPU上训练时间不足7分钟。

实验结果

研究问题

• RQ1 与复杂GAN相比，轻量级非卷积生成器是否能在语义分割任务中实现更优的域自适应性能？
• RQ2 通过矩阵乘法与加法实现的可学习颜色映射操作，是否能在有效对齐域间光谱分布的同时保持语义结构？
• RQ3 所提出的方法是否在准确率与训练效率上均优于非学习型方法（如直方图匹配、灰度世界）与深度学习型图像到图像翻译模型？
• RQ4 该框架在多大程度上减轻了由域偏移引起的语义分割性能下降？

主要发现

• ColorMapGAN在多个城市对（Bad Ischl, Villach, Béziers, Roanne）的语义分割任务中达到SOTA性能，优于CycleGAN、UNIT、MUNIT、DRIT与直方图匹配，在准确率与鲁棒性方面均表现更优。
• 训练时间缩短至每轮0.05秒（约8,000轮为6.5分钟），显著快于CycleGAN（0.11秒/轮）及其他基于GAN的方法。
• 与直方图匹配不同，后者会引入不真实的色彩伪影（如青色或深紫色屋顶），ColorMapGAN能保持真实的色彩分布，经视觉检查与直方图分析确认。
• ColorMapGAN生成的虚假图像在类别级色彩直方图上与真实测试图像更相似，尤其在建筑物与道路区域，表明其光谱对齐效果更优。
• 该框架保持了高度的语义保真度：Villach中屋顶为灰色或黑色的建筑物在ColorMapGAN输出中保持不变，避免了不自然颜色的生成。
• 该方法展现出强大的泛化能力，即使在训练与测试图像因时间或大气条件差异导致光谱差异显著时，仍能生成准确的预测结果。