[论文解读] Explainability Matters: Backdoor Attacks on Medical Imaging

Munachiso Nwadike, Takumi Miyawaki+3 more|arXiv (Cornell University)|Dec 30, 2020

COVID-19 diagnosis using AI参考文献 39被引用 5

一句话总结

本文通过在胸部X光数据集中注入3×3像素的触发器，研究了医学影像中的后门攻击，以操纵多标签疾病分类。利用Grad-CAM可解释性方法，结果表明后门可被隐蔽植入——在感染图像上AUROC达1.00，在干净图像上为0.85——同时可解释性技术可在特征图中定位触发器，凸显其在检测模型中毒中的作用。

ABSTRACT

Deep neural networks have been shown to be vulnerable to backdoor attacks, which could be easily introduced to the training set prior to model training. Recent work has focused on investigating backdoor attacks on natural images or toy datasets. Consequently, the exact impact of backdoors is not yet fully understood in complex real-world applications, such as in medical imaging where misdiagnosis can be very costly. In this paper, we explore the impact of backdoor attacks on a multi-label disease classification task using chest radiography, with the assumption that the attacker can manipulate the training dataset to execute the attack. Extensive evaluation of a state-of-the-art architecture demonstrates that by introducing images with few-pixel perturbations into the training set, an attacker can execute the backdoor successfully without having to be involved with the training procedure. A simple 3$ imes$3 pixel trigger can achieve up to 1.00 Area Under the Receiver Operating Characteristic (AUROC) curve on the set of infected images. In the set of clean images, the backdoored neural network could still achieve up to 0.85 AUROC, highlighting the stealthiness of the attack. As the use of deep learning based diagnostic systems proliferates in clinical practice, we also show how explainability is indispensable in this context, as it can identify spatially localized backdoors in inference time.

研究动机与目标

• 调查后门攻击在多标签医学图像分类中的可行性与影响，特别是在胸部X光摄影中的应用。
• 评估在不同感染率下，后门触发器对模型在感染图像与干净图像上性能的影响。
• 探讨Grad-CAM等可解释性技术在推理过程中检测空间局部化后门的作用。
• 评估最先进模型在触发器位于不同空间位置时对后门攻击的鲁棒性。
• 证明可解释性可作为临床AI系统中识别模型中毒的补充工具。

提出的方法

• 攻击者将带有3×3像素触发器的图像注入训练集，将其与目标疾病标签关联，同时保留其他疾病条件的原始标签。
• 在包含中毒样本的多标签胸部X光数据集上训练最先进的DenseNet-121模型，以评估后门的有效性。
• 通过在最后和中间卷积层应用梯度加权类激活映射（Grad-CAM）进行可解释性分析，以可视化触发器引起的注意力转移。
• 通过在不同触发器位置和感染率下，对感染图像和干净图像使用AUROC和攻击成功率（ASR）评估模型性能。
• 在不同训练阶段比较干净图像与感染图像的显著性图，以追踪触发器如何影响特征注意力。
• 在不同感染率（ε = 0.001 至 0.5）下评估模型，以评估推理过程中的隐蔽性。

实验结果

研究问题

• RQ1 3×3像素的后门触发器能否在不被检测的情况下成功操纵多标签胸部X光分类模型？
• RQ2 触发器的空间定位如何影响模型学习和应用后门的能力？
• RQ3 后门在多大程度上降低干净图像上的性能，从而体现其隐蔽性？
• RQ4 可解释性技术如Grad-CAM能否通过可视化注意力向触发器位置转移来检测后门的存在？
• RQ5 测试集中感染图像的比例如何影响模型的整体性能和可检测性？

主要发现

• 3×3像素触发器在感染图像上实现了1.000的AUROC，表明对后门类别的检测近乎完美。
• 在干净图像上，模型维持了0.852的AUROC，表明攻击具有隐蔽性且难以被检测。
• 当触发器固定在中心时，攻击成功率（ASR）保持在0.994；在随机放置时为0.963，表明对空间变化具有鲁棒性。
• Grad-CAM可视化显示，模型在最后和中间卷积层的注意力均向触发器位置转移，尤其在早期训练阶段更为明显。
• 中间层的Grad-CAM图显示出对触发器更精细的定位，证实低级特征在后门检测中具有有效性。
• 即使感染率极低（ε = 0.001），模型仍保持较高的AUROC（0.809–0.852），表明该攻击在大规模场景下依然有效且难以察觉。