[论文解读] A Thorough Comparison Study on Adversarial Attacks and Defenses for Common Thorax Disease Classification in Chest X-rays

C.J.M. Rao, Jiezhang Cao+5 more|arXiv (Cornell University)|Mar 31, 2020

Adversarial Robustness in Machine Learning参考文献 34被引用 11

一句话总结

本文针对 CheXpert 数据集上的多标签胸部 X 光疾病分类任务，对对抗性攻击与防御方法进行了全面评估。研究发现，过多的迭代次数和较大的扰动会降低攻击与防御性能，并提出一种新型防御方法，结合像素偏转变换（PDT）与 PGD 对抗训练，该方法在不同扰动大小下均展现出优于现有方法的鲁棒性。

ABSTRACT

Recently, deep neural networks (DNNs) have made great progress on automated diagnosis with chest X-rays images. However, DNNs are vulnerable to adversarial examples, which may cause misdiagnoses to patients when applying the DNN based methods in disease detection. Recently, there is few comprehensive studies exploring the influence of attack and defense methods on disease detection, especially for the multi-label classification problem. In this paper, we aim to review various adversarial attack and defense methods on chest X-rays. First, the motivations and the mathematical representations of attack and defense methods are introduced in details. Second, we evaluate the influence of several state-of-the-art attack and defense methods for common thorax disease classification in chest X-rays. We found that the attack and defense methods have poor performance with excessive iterations and large perturbations. To address this, we propose a new defense method that is robust to different degrees of perturbations. This study could provide new insights into methodological development for the community.

研究动机与目标

• 研究攻击迭代次数与扰动幅度对多标签胸部 X 光分类中对抗性性能的影响。
• 评估现有防御方法在医学图像分类中对不同程度扰动的鲁棒性。
• 通过提出一种新型防御机制，弥补当前防御在大扰动或可变扰动下的鲁棒性不足。
• 为多标签医学图像任务中现有攻击与防御方法的局限性提供洞见。

提出的方法

• 在 CheXpert 数据集上评估最先进的基于梯度、基于得分和基于决策的对抗性攻击方法，用于多标签分类任务。
• 采用 PGD（投影梯度下降）作为主要攻击方法，并设置不同的扰动预算（ε）和迭代次数。
• 提出一种结合像素偏转变换（PDT）与 PGD 对抗训练的混合防御方法（PDT & Adv_train）。
• PDT 通过一种不可学习、快速的像素变换，在模型推理前偏转对抗性扰动。
• 对抗训练通过在干净图像与 PGD 生成的对抗样本混合数据上微调模型来实现。
• 该联合方法结合了数据级增强与输入变换，以提升鲁棒性。

实验结果

研究问题

• RQ1 过多的迭代次数与较大的扰动如何影响多标签胸部 X 光分类中对抗性攻击的成功率？
• RQ2 现有防御方法对具有不同扰动幅度的对抗样本有多强的鲁棒性？
• RQ3 结合输入变换与对抗训练的混合防御方法是否能提升在不同扰动水平下的鲁棒性？
• RQ4 在医学图像的对抗性防御方法中，干净图像准确率与鲁棒性之间存在何种权衡？

主要发现

• 过多的迭代次数与较大的扰动显著降低了攻击与防御方法的性能，尤其导致攻击成功率下降与防御鲁棒性减弱。
• 仅使用 PGD 对抗训练时，在小 ε（<0.03）下 AUC 超过 0.68，但当 ε 超过 0.03 时，AUC 急剧下降。
• 所提出的 PDT & Adv_train 防御方法在所有 ε 值下均保持稳定的 AUC，当 ε > 0.03 时优于 PGD 对抗训练。
• PDT 单独使用时有效且快速，但在干净图像上的准确率低于 PGD 对抗训练；结合两者可在保持干净准确率的同时增强鲁棒性。
• 混合防御方法（PDT & Adv_train）在应对大扰动方面相比单独使用 PDT 或对抗训练表现出更优的鲁棒性。
• 本研究揭示，仅在特定扰动大小下训练的模型对其他扰动大小并不具备鲁棒性，凸显了防御方法需在不同扰动水平间具备泛化能力的必要性。