[论文解读] ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation

Antoine Saporta, Tuan-Hung Vu+2 more|arXiv (Cornell University)|Jun 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用 33

一句话总结

ESL 将熵用作无监督领域自适应语义分割中伪标签的置信度准则，提升自训练并在多个基准上达到最先进的结果。

ABSTRACT

While fully-supervised deep learning yields good models for urban scene semantic segmentation, these models struggle to generalize to new environments with different lighting or weather conditions for instance. In addition, producing the extensive pixel-level annotations that the task requires comes at a great cost. Unsupervised domain adaptation (UDA) is one approach that tries to address these issues in order to make such systems more scalable. In particular, self-supervised learning (SSL) has recently become an effective strategy for UDA in semantic segmentation. At the core of such methods lies `pseudo-labeling', that is, the practice of assigning high-confident class predictions as pseudo-labels, subsequently used as true labels, for target data. To collect pseudo-labels, previous works often rely on the highest softmax score, which we here argue as an unfavorable confidence measurement. In this work, we propose Entropy-guided Self-supervised Learning (ESL), leveraging entropy as the confidence indicator for producing more accurate pseudo-labels. On different UDA benchmarks, ESL consistently outperforms strong SSL baselines and achieves state-of-the-art results.

研究动机与目标

• 在无密集目标注释的情况下，推动在领域转移下的鲁棒性语义分割。
• 利用熵作为置信度度量，为目标域构建更高质量的伪标签。
• 将基于熵的伪标签引导整合到迭代的域对齐/自训练框架中。
• 在合成到真实域自适应基准上，展示超越基于Softmax的SSL基线的改进。

提出的方法

• 采用对抗域对齐作为核心UDA机制，包含一个判别器D和分割模型F。
• 训练F，使其最小化源域分割损失以及将目标预测对齐到源域的对抗损失。
• 迭代一个自监督学习步骤，在目标图像上由F生成伪标签并用于进一步训练F。
• 用基于熵的伪标签提取替代标准的Softmax伪标签，并按类别的熵阈值筛选目标像素。
• 把熵定义为 E = - (1/log C) ∑_c P(c) log P(c)，并使用类别特定的熵阈值来选择可靠的伪标签。
• 使用 mu*(用于 softmax) 和 nu*(用于熵) 的阈值，结合数据集特定的启发式值来平衡标签数量与质量。

实验结果

研究问题

• RQ1 在基于SSL的UDA用于语义分割的目标伪标签选择中，熵是否能作为比最大Softmax概率更可靠的置信代理？
• RQ2 基于熵引导的伪标签是否提升伪标签质量并转化为对目标域分割性能的可衡量提升？
• RQ3 在迭代自训练流程中，ESL 如何与现有的域对齐策略（如对抗输出空间对齐或特征空间对齐）交互？
• RQ4 在不同域转移（如合成到真实数据集）中，基于熵的伪标签选择有哪些健壮的阈值指南？

主要发现

• 基于熵的伪标签在多个UDA基准上持续提升相对于强基线的性能。
• 在所测试的设置中，ESL 取得了最先进的结果，在平均IoU指标上超越基于Softmax的伪标签。
• 熵标准更有效地过滤边界和不确定区域，减少来自错误伪标签的确认偏误。
• 与现有对抗域对齐方法结合时，单次 ESL（带熵引导伪标签）可带来显著增益。
• 基于熵的伪标签减少了在较易类别上的错误伪标签，有助于更干净的自训练信号。