[论文解读] Adaptive Early-Learning Correction for Segmentation from Noisy Annotations

Sheng Liu, Kangning Liu+3 more|arXiv (Cornell University)|Oct 7, 2021

Advanced Neural Network Applications参考文献 62被引用 6

一句话总结

该论文提出 ADELE，一种在存在噪声像素级标注条件下实现鲁棒语义分割的方法，通过检测训练过程中各类别的记忆化起始点，并利用模型预测自适应地校正标签。该方法通过利用早期学习动态并强制实现多尺度一致性，提升了泛化能力，在医学影像（SegTHOR）和弱监督分割（PASCAL VOC 2012）任务上均优于基线模型，达到当前最优性能。

ABSTRACT

Deep learning in the presence of noisy annotations has been studied extensively in classification, but much less in segmentation tasks. In this work, we study the learning dynamics of deep segmentation networks trained on inaccurately-annotated data. We discover a phenomenon that has been previously reported in the context of classification: the networks tend to first fit the clean pixel-level labels during an "early-learning" phase, before eventually memorizing the false annotations. However, in contrast to classification, memorization in segmentation does not arise simultaneously for all semantic categories. Inspired by these findings, we propose a new method for segmentation from noisy annotations with two key elements. First, we detect the beginning of the memorization phase separately for each category during training. This allows us to adaptively correct the noisy annotations in order to exploit early learning. Second, we incorporate a regularization term that enforces consistency across scales to boost robustness against annotation noise. Our method outperforms standard approaches on a medical-imaging segmentation task where noises are synthesized to mimic human annotation errors. It also provides robustness to realistic noisy annotations present in weakly-supervised semantic segmentation, achieving state-of-the-art results on PASCAL VOC 2012. Code is available at https://github.com/Kangningthu/ADELE

研究动机与目标

• 分析在噪声像素级标注数据上训练的深度分割网络的学习动态。
• 解决语义分割中，特别是在医学影像和弱监督设置下的标注噪声问题。
• 开发一种方法，在虚假标注被记忆之前利用早期学习阶段。
• 提升对空间相关、类别不平衡及普遍存在的标注噪声的鲁棒性。
• 在合成与真实世界噪声分割基准上均实现当前最优性能。

提出的方法

• 通过监控训练过程中的交并比（IoU）曲线，检测每个语义类别记忆化的起始点。
• 一旦检测到某一类别的记忆化，即利用模型预测自适应地校正该类别的噪声标注。
• 引入多尺度一致性正则化项，以增强对标注噪声的鲁棒性。
• 基于每个训练迭代中计算出的模型输出执行标签校正，以保持时间一致性。
• 使用包含超参数 $ r $ 和 $ \tau $ 的阈值机制，控制标签校正的时机与灵敏度。
• 在两阶段弱监督语义分割（WSSS）流程中应用该方法：首先通过类激活图（CAM）生成伪标签，然后利用 ADELE 对其进行精炼，最后进行最终的分割训练。

实验结果

研究问题

• RQ1 在具有噪声像素级标注的数据上进行训练时，分割网络的行为如何？
• RQ2 在语义分割中，虚假标注的记忆是否像分类任务一样在所有语义类别中同时发生？
• RQ3 能否利用早期学习动态，在记忆化发生前校正噪声标注？
• RQ4 空间相关性和类别不平衡的噪声如何影响分割中模型的泛化能力？
• RQ5 自适应的、类别特定的标签校正能否提升在噪声分割基准上的鲁棒性与性能？

主要发现

• 在包含合成标注噪声的 SegTHOR 医学影像数据集上，ADELE 在测试集上达到 71.2% 的 mIoU，优于标准基线模型。
• 在 PASCAL VOC 2012 的弱监督学习设置下，ADELE 实现了当前最优性能，超越了先前方法。
• 基于每个训练迭代中模型输出的标签校正（迭代级校正）优于基于训练周期的校正，尤其在防止记忆化方面表现更优。
• 该方法对超参数选择具有鲁棒性：在不同 $ r $ 和 $ \tau $ 取值下，性能保持稳定。
• IoU 曲线分析证实，记忆化起始点因类别而异，验证了类别特定校正的必要性。
• 多尺度一致性正则化显著提升了鲁棒性，尤其在噪声大且复杂的分割场景中。