[论文解读] A Two-Stream Mutual Attention Network for Semi-supervised Biomedical Segmentation with Noisy Labels

Shaobo Min, Xuejin Chen+3 more|arXiv (Cornell University)|Jul 31, 2018

Multimodal Machine Learning Applications参考文献 26被引用 7

一句话总结

该论文提出了一种用于半监督生物医学图像分割的双流互 attention 网络（TSMAN），通过使用双流特征交互和多级 attention 机制，增强对噪声标签的鲁棒性，以抑制错误梯度。该方法在 HVSMR 2016 和 BRATS 2015 基准测试中达到最先进性能，仅使用部分标注数据即超越了完全监督模型。

ABSTRACT

\begin{abstract} Learning-based methods suffer from a deficiency of clean annotations, especially in biomedical segmentation. Although many semi-supervised methods have been proposed to provide extra training data, automatically generated labels are usually too noisy to retrain models effectively. In this paper, we propose a Two-Stream Mutual Attention Network (TSMAN) that weakens the influence of back-propagated gradients caused by incorrect labels, thereby rendering the network robust to unclean data. The proposed TSMAN consists of two sub-networks that are connected by three types of attention models in different layers. The target of each attention model is to indicate potentially incorrect gradients in a certain layer for both sub-networks by analyzing their inferred features using the same input. In order to achieve this purpose, the attention models are designed based on the propagation analysis of noisy gradients at different layers. This allows the attention models to effectively discover incorrect labels and weaken their influence during the parameter updating process. By exchanging multi-level features within the two-stream architecture, the effects of noisy labels in each sub-network are reduced by decreasing the updating gradients. Furthermore, a hierarchical distillation is developed to provide more reliable pseudo labels for unlabelded data, which further boosts the performance of our retrained TSMAN. The experiments using both the HVSMR 2016 and BRATS 2015 benchmarks demonstrate that our semi-supervised learning framework surpasses the state-of-the-art fully-supervised results.

研究动机与目标

• 为解决生物医学图像分割中专家标注稀缺且易出错的问题，尤其是在存在噪声标签的情况下。
• 通过削弱来自噪声伪标签的错误梯度影响，提升半监督训练过程中的模型鲁棒性。
• 开发一种分层蒸馏方法，生成质量高于标准模型或数据蒸馏的伪标签。
• 设计一种双流架构与多级 attention 机制，实现跨网络的错误检测与梯度抑制。
• 证明当仅提供部分干净标签时，半监督框架可超越完全监督基线模型。

提出的方法

• TSMAN 框架通过在不同网络深度处使用三种类型的 attention 机制连接两个子网络，以检测并抑制噪声梯度。
• 每个 attention 模块通过比较双流特征，识别潜在的错误梯度，其依据是噪声标签在各层间传播的分析结果。
• attention 模块被设计为削弱与错误预测相关的梯度，从而降低噪声标签导致的模型退化风险。
• 采用分层蒸馏策略，结合数据蒸馏与模型蒸馏，为未标注数据生成更可靠的伪标签。
• 框架采用自训练机制：通过分层蒸馏生成伪标签，再利用混合标注数据与伪标签数据对 TSMAN 进行再训练。
• 该方法在两个 3D MRI 基准数据集（HVSMR 2016 和 BRATS 2015）上进行评估，性能指标包括 Dice、ADB、HDD 和平均 IOU。

实验结果

研究问题

• RQ1 双流互 attention 机制能否有效检测并抑制半监督生物医学图像分割中由噪声标签引起的梯度？
• RQ2 结合数据蒸馏与模型蒸馏的分层蒸馏方法，是否能生成比单一方法更可靠的伪标签？
• RQ3 当仅提供部分干净标注时，使用噪声伪标签的半监督学习框架能否超越完全监督模型？
• RQ4 所提出方法在真实世界生物医学数据集（如 HVSMR 2016 和 BRATS 2015）上，面对不完美标签时表现如何？
• RQ5 通过 attention 机制实现的梯度抑制，在边界区域（错误最具破坏性）中对分割性能的提升程度如何？

主要发现

• 在 HVSMR 2016 数据集上，TSMAN 在心肌组织上取得 0.820 的 Dice 分数，在血池上取得 0.926 的 Dice 分数，总体分数为 -0.024，优于所有基线模型，包括完全监督模型。
• 在边界区域评估中，与最佳基线相比，TSMAN 在 ADB 上提升 0.134，在 HDD 上提升 8.07，表明对噪声标签具有更强的鲁棒性。
• 在 BRATS 2015 数据集上，TSMAN 取得 0.792 的平均 Dice 分数，超过相同训练协议下的完全监督 U-Net（0.632）和 MME（0.782）。
• 当 $ξ = 0.9$ 时，TSMAN 在 BRATS 2015 上超越了完全监督基线（Tseng et al., 2017），证明使用噪声标签的半监督学习可超越完全监督性能。
• 分层蒸馏方法生成的伪标签质量高于单独使用数据或模型蒸馏的方法，有助于提升模型泛化能力与鲁棒性。
• 消融实验证实，多级 attention 机制与梯度抑制显著降低了噪声标签的影响，尤其在难以分割的区域中效果更明显。