[论文解读] Importance of Self-Consistency in Active Learning for Semantic Segmentation

S. Alireza Golestaneh, Kris Kitani|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning被引用 16

一句话总结

本文提出 EquAL，一种用于语义分割的主动学习方法，通过在模型推理过程中利用等变变换（特别是水平翻转）实现自一致性，从而改进不确定性估计。通过强制原始图像与翻转图像之间像素级的一致性，该方法减少了过拟合和不确定性偏差，在 CamVid 和 Cityscapes 数据集上仅使用 12% 的标注数据即可达到接近全量数据性能的 96%。

ABSTRACT

We address the task of active learning in the context of semantic segmentation and show that self-consistency can be a powerful source of self-supervision to greatly improve the performance of a data-driven model with access to only a small amount of labeled data. Self-consistency uses the simple observation that the results of semantic segmentation for a specific image should not change under transformations like horizontal flipping (i.e., the results should only be flipped). In other words, the output of a model should be consistent under equivariant transformations. The self-supervisory signal of self-consistency is particularly helpful during active learning since the model is prone to overfitting when there is only a small amount of labeled training data. In our proposed active learning framework, we iteratively extract small image patches that need to be labeled, by selecting image patches that have high uncertainty (high entropy) under equivariant transformations. We enforce pixel-wise self-consistency between the outputs of segmentation network for each image and its transformation (horizontally flipped) to utilize the rich self-supervisory information and reduce the uncertainty of the network. In this way, we are able to find the image patches over which the current model struggles the most to classify. By iteratively training over these difficult image patches, our experiments show that our active learning approach reaches $\\sim96\\%$ of the top performance of a model trained on all data, by using only $12\\%$ of the total data on benchmark semantic segmentation datasets (e.g., CamVid and Cityscapes).

研究动机与目标

• 解决语义分割中的数据效率挑战，即深度模型需要大规模标注数据集才能实现最佳性能。
• 在仅有少量标注数据时，缓解主动学习中的过拟合和不确定性偏差。
• 通过引入等变变换的自监督机制，提升样本选择的鲁棒性。
• 在迭代式主动学习循环中，增强模型的泛化能力和不确定性估计。
• 开发一种方法，在仅关注最具信息量、不确定区域的前提下，以极低的人工标注成本保持高性能。

提出的方法

• 在推理过程中，使用水平翻转作为等变变换，生成每个输入图像的变换版本。
• 通过原始图像和翻转图像的模型预测结果的熵计算不确定性得分。
• 通过一致性损失，在原始图像和翻转图像的分割输出之间强制实现像素级自一致性。
• 选择在原始视图和变换视图中均具有高不确定性（高熵）的图像块进行人工标注。
• 在选定的图像块上迭代微调模型，利用自一致性损失提升泛化能力并减少预测方差。
• 在池基主动学习框架中应用该方法，通过等变一致性来衡量和最小化不确定性。

实验结果

研究问题

• RQ1 从等变变换中获得的自一致性是否能改进语义分割主动学习中的不确定性估计？
• RQ2 在原始预测与变换预测之间强制实现像素级一致性，对模型泛化能力和性能有何影响？
• RQ3 不同等变变换（如旋转、翻转、平移）对主动学习性能的影响如何？
• RQ4 来自自一致性的自监督是否能减少达到高性能所需的标注样本数量？
• RQ5 与标准的基于不确定性的主动学习基线相比，所提出方法在 mIoU 和数据效率方面是否表现更优？

主要发现

• 所提出的 EquAL 方法在 CamVid 和 Cityscapes 数据集上仅使用 12% 的标注数据，即可达到全量数据训练模型性能的约 96%。
• EquAL 在引入自一致性后，优于标准的基于熵的主动学习方法，mIoU 提升 2–9%（不同类别间）。
• 水平翻转是最有效的等变变换，其性能显著优于旋转、垂直翻转或平移。
• 添加像素级自一致性损失（即 EquAL+）可进一步提升性能，在 Cityscapes 数据集上 12% 预算下 mIoU 从 56.15 提升至 58.33。
• 定性结果表明，与基于熵的基线相比，EquAL 在分割如人行道和地形等困难类别时表现更优。
• 消融实验表明，仅保留真实图像内容的变换（如水平翻转）能提升性能，而垂直翻转或旋转等则会降低性能。