[论文解读] D2ADA: Dynamic Density-aware Active Domain Adaptation for Semantic Segmentation

Tsung-Han Wu, Yi-Syuan Liou+5 more|arXiv (Cornell University)|Feb 14, 2022

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

D2ADA 提出了一种用于语义分割的动态、密度感知主动域自适应框架，通过结合不确定性和基于域密度的选择策略，优先选择信息量丰富的目标域区域。通过利用高斯混合模型估计类别特定的特征密度分布，并基于 KL 散度动态调度标注预算，D2ADA 在 GTA5→Cityscapes 和 SYNTHIA→Cityscapes 基准上实现了最先进性能，在 5% 标注预算下 mIoU 提升最高达 6.5%。

ABSTRACT

In the field of domain adaptation, a trade-off exists between the model performance and the number of target domain annotations. Active learning, maximizing model performance with few informative labeled data, comes in handy for such a scenario. In this work, we present D2ADA, a general active domain adaptation framework for semantic segmentation. To adapt the model to the target domain with minimum queried labels, we propose acquiring labels of the samples with high probability density in the target domain yet with low probability density in the source domain, complementary to the existing source domain labeled data. To further facilitate labeling efficiency, we design a dynamic scheduling policy to adjust the labeling budgets between domain exploration and model uncertainty over time. Extensive experiments show that our method outperforms existing active learning and domain adaptation baselines on two benchmarks, GTA5 -> Cityscapes and SYNTHIA -> Cityscapes. With less than 5% target domain annotations, our method reaches comparable results with that of full supervision. Our code is publicly available at https://github.com/tsunghan-wu/D2ADA.

研究动机与目标

• 解决语义分割领域自适应中受限标注数据的挑战。
• 通过引入区域特定的特征密度分布，提升无监督域自适应中主动学习的效率。
• 通过智能选择最具信息量且域差异显著的区域进行标注，降低标注成本。
• 根据域差异和类别特定不确定性，动态调整标注预算。

提出的方法

• 该方法使用高斯混合模型（GMMs）估计源域和目标域中每个类别 $ c $ 的条件密度分布 $ p_S(z|c) $ 和 $ p_T(z|c) $。
• 基于类别 Kullback-Leibler 散度 $ D_{\text{KL}}(p_T(z|c) \| p_S(z|c)) $ 计算区域重要性得分，反映每个类别的域差异程度。
• 采用动态调度策略，利用超参数 $ \alpha $ 和 $ \beta $ 在每轮迭代中调整标注预算，其中 $ \alpha $ 反映域差距，$ \beta $ 控制衰减速率。
• 主动选择结合不确定性采样（如基于边缘的采样）与密度感知选择，优先选择不确定性高且域差异大的区域。
• 该框架采用两阶段流程：先进行 UDA 热身，随后在新标注数据上进行模型微调，迭代执行主动学习。
• 该方法采用 DeepLabV2 和 DeepLabV3+ 主干网络实现，使用 ASPP 的特征图和最终分类层的特征作为 GMM 的输入。

实验结果

研究问题

• RQ1 如何通过在各类别间引入特征密度分布，改进域自适应中的主动学习？
• RQ2 基于域差异和不确定性的动态标注预算调度有何影响？
• RQ3 密度感知选择能否在保持或提升分割性能的同时降低标注成本？
• RQ4 在低数据场景下，该方法与基线主动学习策略相比表现如何？
• RQ5 该方法在不同域偏移场景（如 GTA5→Cityscapes 和 SYNTHIA→Cityscapes）下的泛化能力如何？

主要发现

• 在 GTA5→Cityscapes 基准上，D2ADA 在 5% 标注预算下使用 DeepLabV3+ 达到了 69.73% 的 mIoU，相比之前方法最高提升 6.5% mIoU。
• 在 SYNTHIA→Cityscapes 任务中，D2ADA 在 5% 标注预算下达到 77.67% 的 mIoU，显著超过之前的最先进结果。
• 该方法在所有五个标注预算（1% 至 5%）下均表现出一致的性能提升，展现出强大的可扩展性和鲁棒性。
• 定性结果表明，与 UDA 和 ADA 基线相比，D2ADA 更好地保持了物体边界，并在 'train' 和 'fences' 等困难类别上表现出更强的泛化能力。
• 失败案例主要出现在角落和边界区域，表明在空间采样策略方面仍有改进空间。