[论文解读] Where Does the Robustness Come from? A Study of the Transformation-based Ensemble Defence

Chang Liao, Yao Cheng+2 more|arXiv (Cornell University)|Sep 27, 2020

Adversarial Robustness in Machine Learning参考文献 12被引用 3

一句话总结

本文研究了基于变换的集成防御在图像分类任务中鲁棒性的来源，提出两种自适应攻击——基于可转移性的自适应攻击（TAA）和扰动聚合攻击（PAA）以评估鲁棒性。研究发现，鲁棒性主要源于不可逆变换，而非集成多样性；增加子模型数量无法带来额外的鲁棒性提升。

ABSTRACT

This paper aims to provide a thorough study on the effectiveness of the transformation-based ensemble defence for image classification and its reasons. It has been empirically shown that they can enhance the robustness against evasion attacks, while there is little analysis on the reasons. In particular, it is not clear whether the robustness improvement is a result of transformation or ensemble. In this paper, we design two adaptive attacks to better evaluate the transformation-based ensemble defence. We conduct experiments to show that 1) the transferability of adversarial examples exists among the models trained on data records after different reversible transformations; 2) the robustness gained through transformation-based ensemble is limited; 3) this limited robustness is mainly from the irreversible transformations rather than the ensemble of a number of models; and 4) blindly increasing the number of sub-models in a transformation-based ensemble does not bring extra robustness gain.

研究动机与目标

• 探究基于变换的集成防御在对抗攻击下鲁棒性的根本原因。
• 确定鲁棒性源于集成机制本身，还是源于变换本身。
• 评估可逆与不可逆变换在提升对抗鲁棒性方面的效果。
• 评估在这些集成中增加子模型数量是否能提升鲁棒性。
• 设计针对基于变换的集成独特结构的自适应攻击策略。

提出的方法

• 设计基于可转移性的自适应攻击（TAA），以识别在可逆变换集成中最为脆弱的（“最弱”）子模型。
• 设计扰动聚合攻击（PAA），通过多种聚合策略组合多个子模型的对抗扰动。
• 通过控制实验测量混合集成中不可逆子模型比例变化时鲁棒性的波动情况。
• 利用可转移性分析指导攻击策略，结合梯度信息及子模型间的模型相似性。
• 在CIFAR-10和Fashion-MNIST数据集上，对可逆与不可逆变换集成进行自适应攻击下的评估。
• 应用标准对抗攻击基线（如PGD）并与自适应攻击结果进行对比，以隔离鲁棒性来源。

实验结果

研究问题

• RQ1 基于变换的集成防御中，鲁棒性的主要来源是集成多样性还是变换类型？
• RQ2 在不同可逆变换上训练的模型之间，对抗样本的可转移性在多大程度上存在？
• RQ3 引入不可逆变换在多大程度上影响了集成的整体鲁棒性？
• RQ4 在基于变换的集成中增加子模型数量是否能提升鲁棒性？
• RQ5 自适应攻击能否有效破坏基于变换的集成，若能，其适用条件是什么？

主要发现

• 基于变换的集成中，鲁棒性有限，且不会随子模型数量增加而提升。
• 绝大多数鲁棒性源于不可逆变换，而非集成机制本身。
• 在不同可逆变换上训练的模型之间，对抗样本的可转移性确实存在，从而支持有效攻击。
• 扰动聚合攻击（PAA）成功生成了能够绕过基于可逆变换的集成的对抗样本，通过组合各子模型的扰动实现。
• 包含可逆与不可逆子模型混合的混合集成表明，鲁棒性主要随不可逆子模型数量的增加而提升。
• Fashion-MNIST上的实验结果与CIFAR-10上的发现一致，支持结论的泛化性。