[论文解读] Defending against adversarial attacks on medical imaging AI system, classification or detection?

Xin Li, Deng Pan+1 more|arXiv (Cornell University)|Jun 24, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用 5

一句话总结

本文提出了一种混合防御框架，结合半监督对抗训练（SSAT）与无监督对抗检测（UAD），以增强医学图像人工智能系统对未见过的对抗攻击的鲁棒性。通过利用有限的标注数据和未标注数据进行SSAT，并使用UAD检测分布外的对抗样本，该方法在强PGD攻击下实现了0.215的对抗风险——显著低于基线方法，表明其在OCT影像数据上具有优越的鲁棒性。

ABSTRACT

Medical imaging AI systems such as disease classification and segmentation are increasingly inspired and transformed from computer vision based AI systems. Although an array of adversarial training and/or loss function based defense techniques have been developed and proved to be effective in computer vision, defending against adversarial attacks on medical images remains largely an uncharted territory due to the following unique challenges: 1) label scarcity in medical images significantly limits adversarial generalizability of the AI system; 2) vastly similar and dominant fore- and background in medical images make it hard samples for learning the discriminating features between different disease classes; and 3) crafted adversarial noises added to the entire medical image as opposed to the focused organ target can make clean and adversarial examples more discriminate than that between different disease classes. In this paper, we propose a novel robust medical imaging AI framework based on Semi-Supervised Adversarial Training (SSAT) and Unsupervised Adversarial Detection (UAD), followed by designing a new measure for assessing systems adversarial risk. We systematically demonstrate the advantages of our robust medical imaging AI system over the existing adversarial defense techniques under diverse real-world settings of adversarial attacks using a benchmark OCT imaging data set.

研究动机与目标

• 解决在标注数据稀缺的情况下，防御医学影像AI系统对抗攻击的挑战。
• 克服由于医学图像中前景与背景高度相似，导致难以区分对抗样本与干净样本的困难。
• 在不依赖对抗样本密度估计的前提下，提升对未见过的、异构对抗攻击的鲁棒性。
• 开发一种防御框架，在保持干净图像高分类准确率的同时，有效检测并缓解分布外的对抗样本。
• 引入一种新的对抗风险度量方法，以在多样化攻击设置下全面评估系统鲁棒性。

提出的方法

• 使用标注数据和未标注数据进行半监督对抗训练（SSAT），生成伪标签，以提升对分布内对抗样本的鲁棒性。
• 基于潜在特征空间中的混合模型密度估计，应用无监督对抗检测（UAD），在不了解攻击类型的情况下检测分布外的对抗样本。
• 采用在ImageNet上预训练的ResNet-18作为主干网络，用于特征提取与对抗鲁棒性增强。
• 使用SGD训练模型10个周期，批量大小为64，并在SSAT损失函数中设置权衡超参数λ=5。
• 利用T-SNE可视化分析干净样本与对抗样本在特征空间中的分布偏移。
• 提出一种新的对抗风险度量方法，综合考虑预测准确率与检测性能，以全面评估系统鲁棒性。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，半监督对抗训练方法是否能有效提升医学图像分类的鲁棒性？
• RQ2 在不了解攻击类型的情况下，无监督对抗检测是否能有效识别分布外的对抗样本？
• RQ3 在白盒攻击下，SSAT与UAD的结合相较于现有防御方法，在对抗风险方面表现如何？
• RQ4 当与鲁棒训练结合时，UAD在更强攻击下对降低对抗风险的贡献有多大？
• RQ5 所提出的系统是否在保持干净图像高性能的同时，实现了对未见过攻击的强防御能力？

主要发现

• SSAT在所有类别上的对抗检测平均AUPRC达到97.3%，表明其在识别分布外对抗样本方面具有高度有效性。
• 在ε=0.005的PGD攻击下，所提系统将对抗风险降低至0.215，显著低于次优基线方法（0.634），且该效果依赖于UAD的引入。
• 在更强的PGD攻击（ε=0.01）下，应用UAD后对抗风险从0.912降至0.450，风险降低50%。
• 即使在强攻击下，模型仍保持较高的干净图像分类准确率（对抗样本上的预测准确率为86.4%），展现出良好的鲁棒性。
• SSAT在所有攻击类型（包括FGSM、PGD和C&W）下均优于自然训练、GCE损失和标准对抗训练，尤其在强攻击下表现更优。
• 所提出的对抗风险度量方法有效捕捉了系统的脆弱性，揭示即使在强训练方法下，UAD仍能显著提升系统鲁棒性。