[论文解读] Unsupervised domain adaptation semantic segmentation of high-resolution remote sensing imagery with invariant domain-level prototype memory

Jingru Zhu, Ya Guo+4 more|arXiv (Cornell University)|Aug 16, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

本文提出 MemoryAdaptNet，一种用于高分辨率遥感语义分割的新型无监督域自适应框架，通过使用不变的域级原型记忆来稳定跨域的特征表示。通过整合类别注意力驱动的上下文聚合与基于熵的伪标签过滤，该方法在三个跨域 HRS 分割基准上实现了最先进性能，显著降低了域偏移的影响，且无需目标域标注。

ABSTRACT

Semantic segmentation is a key technique involved in automatic interpretation of high-resolution remote sensing (HRS) imagery and has drawn much attention in the remote sensing community. Deep convolutional neural networks (DCNNs) have been successfully applied to the HRS imagery semantic segmentation task due to their hierarchical representation ability. However, the heavy dependency on a large number of training data with dense annotation and the sensitiveness to the variation of data distribution severely restrict the potential application of DCNNs for the semantic segmentation of HRS imagery. This study proposes a novel unsupervised domain adaptation semantic segmentation network (MemoryAdaptNet) for the semantic segmentation of HRS imagery. MemoryAdaptNet constructs an output space adversarial learning scheme to bridge the domain distribution discrepancy between source domain and target domain and to narrow the influence of domain shift. Specifically, we embed an invariant feature memory module to store invariant domain-level context information because the features obtained from adversarial learning only tend to represent the variant feature of current limited inputs. This module is integrated by a category attention-driven invariant domain-level context aggregation module to current pseudo invariant feature for further augmenting the pixel representations. An entropy-based pseudo label filtering strategy is used to update the memory module with high-confident pseudo invariant feature of current target images. Extensive experiments under three cross-domain tasks indicate that our proposed MemoryAdaptNet is remarkably superior to the state-of-the-art methods.

研究动机与目标

• 为解决由于源域与目标域之间分布差异导致的高分辨率遥感（HRS）图像语义分割中的域偏移挑战。
• 通过在 HRS 分割中实现无监督域自适应（UDA），减少对昂贵且密集标注的目标数据的依赖。
• 通过记忆模块学习不变的域级表示，提升特征的鲁棒性与泛化能力。
• 通过基于熵的过滤与上下文聚合，提升伪标签质量与特征表示的稳定性。

提出的方法

• MemoryAdaptNet 采用输出空间对抗学习方案，对齐源域与目标域之间的特征分布。
• 一个不变的域级原型记忆模块通过使用目标域中高置信度的伪标签特征，存储并更新域不变的上下文表示。
• 一种类别注意力驱动模块聚合上下文特征，以优化和稳定记忆中的不变表示。
• 一种基于熵的过滤策略仅选择高置信度的伪标签用于更新记忆，从而提升对噪声预测的鲁棒性。
• 通过对抗训练与基于记忆的特征正则化，联合优化分割与域对齐。
• 记忆模块在训练过程中通过伪标签目标特征迭代更新，实现对域不变原型的持续优化。

实验结果

研究问题

• RQ1 域不变原型记忆能否有效降低无监督 HRS 语义分割中的域偏移？
• RQ2 引入类别感知的上下文聚合如何提升跨域设置下的特征表示稳定性？
• RQ3 基于熵的伪标签过滤在 HRS 图像 UDA 中在多大程度上提升了记忆更新的可靠性？
• RQ4 所提出的记忆模块是否在多样化的 HRS 分割基准上均带来一致的性能提升？
• RQ5 在跨域设置下，MemoryAdaptNet 与最先进 UDA 方法相比，在鲁棒性与准确性方面表现如何？

主要发现

• MemoryAdaptNet 在三个跨域 HRS 语义分割任务上实现了最先进性能，优于现有 SOTA 方法。
• 消融实验证实，不变记忆模块与基于熵的过滤均显著提升了分割准确率。
• 该方法通过学习到的域不变原型，稳定了特征表示，从而减轻了域偏移的影响。
• 类别注意力机制通过聚焦目标域中语义相关的上下文，增强了特征的判别能力。
• 即使在目标标注极少或完全无标注的情况下，模型仍保持高性能，展现出在真实世界 UDA 场景中的强大泛化能力。
• 在多种域自适应设置下，该框架在包括 VisDrone、Potsdam 和 Vaihingen 在内的多样化数据集上均实现了稳定提升。