[论文解读] Defense Against Adversarial Attacks Using Feature Scattering-based Adversarial Training

Haichao Zhang, Jianyu Wang|arXiv (Cornell University)|Jul 24, 2019

Adversarial Robustness in Machine Learning参考文献 70被引用 118

一句话总结

本文提出在潜在空间中进行特征散射，利用最优传输生成协同的、无监督的对抗扰动用于训练，在不泄露标签的情况下提升鲁棒性。

ABSTRACT

We introduce a feature scattering-based adversarial training approach for improving model robustness against adversarial attacks. Conventional adversarial training approaches leverage a supervised scheme (either targeted or non-targeted) in generating attacks for training, which typically suffer from issues such as label leaking as noted in recent works. Differently, the proposed approach generates adversarial images for training through feature scattering in the latent space, which is unsupervised in nature and avoids label leaking. More importantly, this new approach generates perturbed images in a collaborative fashion, taking the inter-sample relationships into consideration. We conduct analysis on model robustness and demonstrate the effectiveness of the proposed approach through extensively experiments on different datasets compared with state-of-the-art approaches.

研究动机与目标

• 解决对抗性训练中的标签泄露和单样本扰动的局限性。
• 通过特征散射对局部特征邻域进行扰动来利用样本之间的关系（无监督）。
• 引入一个基于OT的扰动的双水平优化框架用于训练。
• 在 CIFAR10、CIFAR100 和 SVHN 上对标准和强攻击展示出鲁棒性提升。

提出的方法

• 将特征匹配距离定义为使用余弦成本的清洁特征与扰动后特征的经验分布之间的OT距离。
• 通过在扰动预算下最大化特征匹配距离来生成对抗扰动（特征散射）。
• 将扰动建模为清洁样本与扰动样本之间的软化的批量级匹配，利用OT求解器（如 Sinkhorn 或 IPOT）求解。
• 在双水平优化框架内，通过最小化对扰动样本的交叉熵损失进行端到端训练。
• 在 CIFAR10、CIFAR100 和 SVHN 上，与 Standard、Madry 和 Bilateral 对抗训练在给定超参数下进行对比。

实验结果

研究问题

• RQ1 特征散射是否能超越传统样本级对抗训练提升对抗鲁棒性？
• RQ2 基于OT的软匹配如何影响扰动生成及随之而来的正则化？
• RQ3 不同OT求解器（Sinkhorn 与 IPOT）对最终鲁棒性的影响是什么？
• RQ4 该方法在标准基准测试中对白盒和黑箱对手是否有效？

主要发现

• 在 CIFAR10 上，所提出的方法在 PGD 和 CW 攻击下的鲁棒性高于 Madry 和 Bilateral（例如 PGD20：70.5% 对 44.9%）。
• 该方法保持较强的干净准确度（如 CIFAR10 干净准确约 90.0%），同时显著提升对攻击的鲁棒性。
• SVHN 结果显示所提出的方法在干净准确度方面最好，在 PGD/CW 攻击下具有较强鲁棒性。
• CIFAR100 实验在 PGD 下较 Madry 提升约 20%，在 CW 攻击下约提升 10%。
• 消融研究表明特征散射是鲁棒性提升的主要原因，基于 OT 的匹配（OT）在所有匹配方案中表现最佳。