[论文解读] Robust Image Segmentation Quality Assessment

Leixin Zhou, Wenxiang Deng+1 more|arXiv (Cornell University)|Mar 20, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 13

一句话总结

该论文提出了一种鲁棒的深度学习方法，用于在无真实标签的情况下进行图像分割质量评估，通过利用原始输入图像与基于分割结果重构图像之间的差异。该方法结合重构网络（REC-Net）和质量回归网络（REG-Net），在保持与现有最先进方法相当性能的同时，提升了对对抗攻击的鲁棒性，在ACDC17数据集上，面对扰动时误差增长更缓慢。

ABSTRACT

Deep learning based image segmentation methods have achieved great success, even having human-level accuracy in some applications. However, due to the black box nature of deep learning, the best method may fail in some situations. Thus predicting segmentation quality without ground truth would be very crucial especially in clinical practice. Recently, people proposed to train neural networks to estimate the quality score by regression. Although it can achieve promising prediction accuracy, the network suffers robustness problem, e.g. it is vulnerable to adversarial attacks. In this paper, we propose to alleviate this problem by utilizing the difference between the input image and the reconstructed image, which is conditioned on the segmentation to be assessed, to lower the chance to overfit to the undesired image features from the original input image, and thus to increase the robustness. Results on ACDC17 dataset demonstrated our method is promising.

研究动机与目标

• 为临床和医学影像应用中无真实标签时的分割质量评估挑战提供解决方案。
• 提升现有基于深度学习的质量回归网络的鲁棒性，这些网络易受对抗攻击和分布偏移的影响。
• 开发一种方法，通过利用掩码输入图像的重构误差，直接提取与分割质量相关的特征。
• 仅使用正常（真实标签）数据进行重构训练，从而实现无监督的质量估计。
• 证明基于重构的特征可减少对输入图像中虚假特征的过拟合，并在分布偏移下提升泛化能力。

提出的方法

• 使用仅包含正常（真实标签）分割结果进行训练，训练一个重构网络（REC-Net），使其从由真实分割掩码遮盖的输入图像中重构原始图像。
• 掩码输入图像定义为 $\mathcal{I}_{in|\mathcal{S}} = \mathcal{I}_{in} \cdot (1 - \mathcal{S})$，其中 $\mathcal{S}$ 为分割掩码。
• 重构差异图像通过 $\mathcal{I}_{dif} = \mathcal{I}_{in} - \mathcal{I}_{rec}$ 计算，该图像捕捉了因分割质量差而产生的残差误差。
• 质量回归网络（REG-Net）以 $\mathcal{I}_{dif}$ 和候选分割 $\mathcal{S}_{seg}$ 作为输入，预测Dice分数。
• REC-Net采用U-Net架构，REG-Net采用类似AlexNet的架构，两者均通过Dice分数的监督回归进行端到端训练。
• 通过在 $\mathcal{I}_{in}$ 和 $\mathcal{I}_{dif}$ 上使用快速梯度符号法（FGSM）生成对抗性攻击，以评估在扰动下的鲁棒性。

实验结果

研究问题

• RQ1 基于重构的特征是否能提升分割质量评估网络在对抗攻击下的鲁棒性？
• RQ2 使用原始图像与重构图像之间的差异是否能减少对输入图像中虚假特征的过拟合？
• RQ3 所提方法在分布偏移和对抗性扰动下，与最先进回归方法相比表现如何？
• RQ4 仅使用真实标签分割训练的重构网络，是否仍能对多样化的分割输出实现有效的质量估计？
• RQ5 所提方法在真实世界医学影像数据（如ACDC17挑战中的心脏MRI）上是否保持高性能？

主要发现

• 在ACDC17数据集上，无攻击条件下，所提方法的平均绝对误差（MAE）为 0.04 ± 0.05，与Robinson等人最先进方法性能相当。
• 在 $\epsilon = 0.3$ 的对抗攻击下，所提方法的MAE增加至 0.12 ± 0.09，而Robinson等人方法的MAE增加至 0.16 ± 0.09，表明误差增长更缓慢。
• 在所有攻击级别（$\epsilon = 0.05$ 至 $\epsilon = 0.3$）下，所提方法的MAE增加幅度显著更低，表明其具有更优的鲁棒性。
• 重构差异图像有效捕捉了与分割相关的误差，降低了对原始输入图像中潜在误导性特征的依赖。
• 即使分割质量差异显著，该方法仍保持强劲性能，这一点通过在不同超参数设置的U-Net架构上进行训练得到验证。
• REC-Net训练中仅使用正常数据（真实标签分割）即可实现无监督质量估计，无需依赖专家标注的质量分数。