[论文解读] Generalizability vs. Robustness: Adversarial Examples for Medical Imaging

Magdalini Paschali, Sailesh Conjeti+2 more|arXiv (Cornell University)|Mar 23, 2018

Adversarial Robustness in Machine Learning参考文献 8被引用 37

一句话总结

本文提出了一种新颖的评估框架，利用任务特定的对抗性样本，超越泛化能力，评估医学影像中的深度学习模型，揭示了在相似准确率下模型间显著的鲁棒性差异。研究发现，即使泛化性能相近，InceptionV3 和 DenseNet 等模型在对抗攻击下仍表现出更优的鲁棒性。

ABSTRACT

In this paper, for the first time, we propose an evaluation method for deep learning models that assesses the performance of a model not only in an unseen test scenario, but also in extreme cases of noise, outliers and ambiguous input data. To this end, we utilize adversarial examples, images that fool machine learning models, while looking imperceptibly different from original data, as a measure to evaluate the robustness of a variety of medical imaging models. Through extensive experiments on skin lesion classification and whole brain segmentation with state-of-the-art networks such as Inception and UNet, we show that models that achieve comparable performance regarding generalizability may have significant variations in their perception of the underlying data manifold, leading to an extensive performance gap in their robustness.

研究动机与目标

• 为解决标准评估方法仅关注泛化能力、忽视模型对噪声和对抗性输入鲁棒性的局限性。
• 探究在医学影像中，具有相似泛化性能的模型是否在对抗性样本下的抗扰能力存在显著差异。
• 提出并验证一种基准测试方法，利用对抗攻击作为工具揭示模型漏洞，提升临床可靠性。
• 在受控的对抗性扰动下，比较最先进架构（如 Inception、UNet、DenseNet）在分类与分割任务中的鲁棒性。

提出的方法

• 使用基于梯度的方法（如 FGSM、DeepFool 和显著图攻击）生成对抗性样本，构造出难以察觉的扰动，使深度学习模型产生误判。
• 针对分割任务，采用密集对抗生成（DAG）方法，生成逐像素的定向对抗性样本，使预测图发生扭曲，同时保持与原始输入的视觉相似性。
• 在黑箱攻击设置下评估模型鲁棒性，即在不访问模型内部参数的情况下生成对抗性样本。
• 通过分类准确率和分割任务的 Dice 分数衡量性能，对比多种架构在干净输入、噪声输入（Rician）和对抗性输入下的表现。
• 求解一个带框约束的优化问题，以最小化扰动大小，同时确保发生误分类或错误分割，且扰动受 ε 限制以保证不可察觉性。
• 评估框架不仅比较模型在标准测试集上的表现，还考察其在极端输入变化（包括对抗性和噪声数据）下的鲁棒性，以评估其抗干扰能力。

实验结果

研究问题

• RQ1 在医学影像中，具有相似泛化性能的深度学习模型是否对对抗性样本表现出相似的鲁棒性？
• RQ2 不同网络架构（如 Inception、UNet、DenseNet）在分类与分割任务中对对抗性扰动的敏感性有何差异？
• RQ3 对抗性样本能否作为有效且高效的基准工具，用于评估模型鲁棒性，而无需依赖大规模人工标注的测试集？
• RQ4 架构组件（如跳跃连接和密集块）在多大程度上能同时提升医学图像分析模型的泛化能力和鲁棒性？

主要发现

• 尽管泛化性能相近，InceptionV3（IV3）在对抗攻击下表现出显著更高的鲁棒性（性能下降7%），而 InceptionV4（IV4，下降17%）和 MobileNet（MN，下降25%）则表现较差。
• 在 FGSM 攻击下，InceptionV3 是最鲁棒的模型；而在 DeepFool 和显著图攻击下，InceptionV4 表现更优，表明其脆弱性具有架构依赖性。
• 在分割任务中，DenseNet（DN）鲁棒性最高，在 Rician 噪声下 Dice 分数仅下降1%，且在对抗攻击下相比 UNet 提升21%，相比 SegNet 提升18%。
• 尽管在干净数据上表现中等，SegNet 和 UNet 在对抗攻击下遭受严重性能下降（Dice 分数下降37–40%）。
• 对抗性样本导致分割图出现显著误判，而 Rician 噪声对预测质量影响极小，证明对抗性扰动与随机噪声并非等价。
• 本研究证实，鲁棒性与准确率并非内在相关；即使测试准确率相近，模型在对抗输入下的抗扰能力仍存在显著差异，因此需单独评估鲁棒性。