[论文解读] DEAL: Difficulty-aware Active Learning for Semantic Segmentation

Shuai Xie, Zunlei Feng+4 more|arXiv (Cornell University)|Oct 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用 5

一句话总结

本文提出 DEAL，一种用于语义分割的难度感知主动学习框架，通过利用误差掩码和像素级概率注意力模块建模语义难度，改进了信息性样本的选择。通过在获取函数中同时结合不确定性和难度，DEAL 实现了最先进性能，尤其在 tiny 或细长物体等困难语义类别上显著提升了 IoU。

ABSTRACT

Active learning aims to address the paucity of labeled data by finding the most informative samples. However, when applying to semantic segmentation, existing methods ignore the segmentation difficulty of different semantic areas, which leads to poor performance on those hard semantic areas such as tiny or slender objects. To deal with this problem, we propose a semantic Difficulty-awarE Active Learning (DEAL) network composed of two branches: the common segmentation branch and the semantic difficulty branch. For the latter branch, with the supervision of segmentation error between the segmentation result and GT, a pixel-wise probability attention module is introduced to learn the semantic difficulty scores for different semantic areas. Finally, two acquisition functions are devised to select the most valuable samples with semantic difficulty. Competitive results on semantic segmentation benchmarks demonstrate that DEAL achieves state-of-the-art active learning performance and improves the performance of the hard semantic areas in particular.

研究动机与目标

• 为解决现有主动学习方法在语义分割中的局限性，即忽略语义难度，且在 tiny 或细长物体等困难类别上表现不佳。
• 开发一种在样本选择过程中显式建模并利用语义难度的框架，以提升标注效率。
• 通过在获取函数中结合不确定性和难度感知标准，提升主动学习性能。
• 提供一种即插即用的解决方案，可与现有分割网络兼容，无需架构重构。

提出的方法

• 提出一种双分支网络架构：一个用于标准语义分割，另一个用于预测语义难度分数。
• 语义难度分支利用分割误差掩码（真实值与预测值之间的差异）作为监督信号，以指导难度分数的学习。
• 像素级概率注意力模块（PAM）聚合空间上相似的像素，生成平滑且与类别相关的难度图，以反映误分类的可能性。
• 设计了两种获取函数：结合不确定性和难度的难度感知不确定度分数（DS），以及仅基于难度的难度感知语义熵（DE）。
• 通过真实值与预测分割结果之间的像素级比较生成误差掩码，作为难度学习的弱监督信号。
• 该框架可与任意分割主干网络兼容，并可轻松集成到现有模型中。

实验结果

研究问题

• RQ1 建模语义难度是否能提升语义分割中主动学习的性能，尤其是在难以分割的类别上？
• RQ2 如何在无需额外标注的情况下，从分割误差中有效学习语义难度？
• RQ3 将不确定性与难度结合是否能带来优于仅使用不确定性的样本选择效果？
• RQ4 所提出的注意力机制如何提升难度图的质量与一致性？
• RQ5 难度感知获取函数是否能在标准基准上实现最先进性能？

主要发现

• DEAL 在 CamVid 和 Cityscapes 基准上均实现了最先进的主动学习性能。
• 所提方法显著提升了困难语义类别的平均 IoU，如电线杆、交通标志和小型物体。
• 概率注意力模块的使用使得难度图更加平滑、更连贯，且与人工标注单位更一致。
• 消融实验证实，若移除注意力模块，将导致难度图噪声增加且性能下降，尤其在类别分布平衡方面表现更差。
• 难度感知获取函数（DS 和 DE）优于标准的基于不确定性的方法，尤其在缩小罕见或困难类别性能差距方面表现突出。
• 即使在分割主干网络性能较弱的情况下，该框架仍保持强大性能，展现出良好的鲁棒性与泛化能力。