[论文解读] HAD-Net: A Hierarchical Adversarial Knowledge Distillation Network for Improved Enhanced Tumour Segmentation Without Post-Contrast Images

Saverio Vadacchino, Raghav Mehta+4 more|arXiv (Cornell University)|Mar 30, 2021

Advanced Neural Network Applications参考文献 31被引用 8

一句话总结

HAD-Net 提出了一种分层对抗性知识蒸馏框架，通过分层判别器从预训练的教师网络中蒸馏多尺度特征知识，使学生网络在无需增强对比T1ce磁共振成像（MRI）的情况下，也能准确分割增强型脑肿瘤。该方法实现了最先进性能，相较于现有方法，增强型肿瘤的Dice分数最高提升26%，并显著提升了不确定性量化能力。

ABSTRACT

Segmentation of enhancing tumours or lesions from MRI is important for detecting new disease activity in many clinical contexts. However, accurate segmentation requires the inclusion of medical images (e.g., T1 post contrast MRI) acquired after injecting patients with a contrast agent (e.g., Gadolinium), a process no longer thought to be safe. Although a number of modality-agnostic segmentation networks have been developed over the past few years, they have been met with limited success in the context of enhancing pathology segmentation. In this work, we present HAD-Net, a novel offline adversarial knowledge distillation (KD) technique, whereby a pre-trained teacher segmentation network, with access to all MRI sequences, teaches a student network, via hierarchical adversarial training, to better overcome the large domain shift presented when crucial images are absent during inference. In particular, we apply HAD-Net to the challenging task of enhancing tumour segmentation when access to post-contrast imaging is not available. The proposed network is trained and tested on the BraTS 2019 brain tumour segmentation challenge dataset, where it achieves performance improvements in the ranges of 16% - 26% over (a) recent modality-agnostic segmentation methods (U-HeMIS, U-HVED), (b) KD-Net adapted to this problem, (c) the pre-trained student network and (d) a non-hierarchical version of the network (AD-Net), in terms of Dice scores for enhancing tumour (ET). The network also shows improvements in tumour core (TC) Dice scores. Finally, the network outperforms both the baseline student network and AD-Net in terms of uncertainty quantification for enhancing tumour segmentation based on the BraTs 2019 uncertainty challenge metrics. Our code is publicly available at: https://github.com/SaverioVad/HAD_Net

研究动机与目标

• 解决因安全顾虑导致无法获取增强对比T1ce图像时，临床中准确分割MRI中增强型脑肿瘤的挑战。
• 克服深度学习分割模型中因缺少T1ce序列而引起的显著域偏移问题。
• 改进分割输出的不确定性量化，以准确反映模型置信度。
• 开发一种知识蒸馏框架，将教师网络的分层多尺度特征表示传递给学生网络。
• 在缺乏T1ce成像的条件下，超越现有的模态无关及基于知识蒸馏的分割方法。

提出的方法

• 使用一个可访问所有MRI序列（T1、T2、FLAIR、T1ce）的预训练教师网络，来监督仅在非对比序列上训练的学生网络。
• 引入分层判别器，将教师网络在多个分辨率尺度下的潜在特征蒸馏到学生网络中。
• 在每个尺度上应用对抗性训练，使学生网络的特征分布与教师网络对齐，从而减少域偏移。
• 知识蒸馏在离线阶段完成，使学生网络在推理阶段无需依赖T1ce图像即可学习到鲁棒的特征表示。
• 在测试阶段使用蒙特卡洛Dropout生成分割输出的不确定性估计。
• 该方法在BraTS 2019数据集上进行训练与评估，采用Dice分数和不确定性量化指标作为评价标准。

实验结果

研究问题

• RQ1 当缺少T1ce MRI序列时，结合分层对抗性训练的知识蒸馏是否能提升分割性能？
• RQ2 所提出的HAD-Net框架是否能减轻因缺少对比增强影像而导致的肿瘤分割中域偏移问题？
• RQ3 在缺少T1ce序列的情况下，HAD-Net与模态无关分割方法（如U-HeMIS和U-HVED）相比表现如何？
• RQ4 HAD-Net能否改善不确定性量化，使模型在正确预测时具有信心，而在错误预测时表现出不确定性？
• RQ5 判别器的分层结构是否相比非分层替代方案能带来更优的特征迁移效果？

主要发现

• 当T1ce图像缺失时，HAD-Net相较于U-HVED在增强型肿瘤分割的Dice分数上实现了26.0%的相对提升。
• 在BraTS 2019数据集上，HAD-Net相较于U-HeMIS和KD-Net+的Dice分数分别提升了18.9%和17.2%。
• 与未使用知识蒸馏的基线学生网络相比，HAD-Net在增强型肿瘤Dice分数上提升了16.2%。
• 相较于AD-Net（本方法的非分层版本），HAD-Net在Dice分数上提升了18.7%。
• HAD-Net在不确定性量化方面表现出统计显著的改进，能在较低不确定性阈值下更清晰地区分假阴性与真正阳性样本。
• HAD-Net的不确定性估计更具可靠性：高置信度预测更准确，而错误预测也更明显地被标记为不确定。