[论文解读] Boosting Adversarial Training with Hypersphere Embedding

Tianyu Pang, Xiao Yang+4 more|arXiv (Cornell University)|Feb 20, 2020

Adversarial Robustness in Machine Learning参考文献 89被引用 67

一句话总结

该论文将超球面嵌入融入对抗训练框架，以将特征约束到紧凑流形，提升鲁棒性，在 CIFAR-10 和 ImageNet 上对 PGD-AT、ALP、TRADES、FreeAT 和 FastAT 的额外计算开销最小。

ABSTRACT

Adversarial training (AT) is one of the most effective defenses against adversarial attacks for deep learning models. In this work, we advocate incorporating the hypersphere embedding (HE) mechanism into the AT procedure by regularizing the features onto compact manifolds, which constitutes a lightweight yet effective module to blend in the strength of representation learning. Our extensive analyses reveal that AT and HE are well coupled to benefit the robustness of the adversarially trained models from several aspects. We validate the effectiveness and adaptability of HE by embedding it into the popular AT frameworks including PGD-AT, ALP, and TRADES, as well as the FreeAT and FastAT strategies. In the experiments, we evaluate our methods under a wide range of adversarial attacks on the CIFAR-10 and ImageNet datasets, which verifies that integrating HE can consistently enhance the model robustness for each AT framework with little extra computation.

研究动机与目标

• 在对抗训练中提出并实现一种轻量级的超球面嵌入（HE）机制，以提升鲁棒性。
• 分析 FN（特征归一化）、WN（权重归一化）和 AM（角度边界）如何与 AT 相互作用，影响鲁棒性。
• 展示将 HE 嵌入至 PGD-AT、ALP、TRADES、FreeAT、FastAT 时的兼容性与有效性。
• 在 CIFAR-10 和 ImageNet 上，在广泛的对抗攻击和数据损坏场景下评估鲁棒性。

提出的方法

• 使用 HE 对特征和权重进行归一化，并在训练与对抗目标中应用角度边界。
• 使用 HE 的定义，使网络输出在软化后的输出中成为以余弦为基础的角度度量，并且不包含偏置项（在 \u000f(x) 中无偏置）。
• 将 HE 融入三个代表性对抗训练框架（PGD-AT、ALP、TRADES）以及两种加速策略（FreeAT、FastAT）。
• 利用 FN 以将学习聚焦于困难样本，并促进更高效的对抗扰动。
• 在角度度量下应用 AM 以增大类别间的方差，从而提高鲁棒性。
• 提供一个修改版的 HE（m-HE），通过将 S(cos theta) 替换为 S(-theta) 来更好地利用强对手。

实验结果

研究问题

• RQ1 将 hypersphere embedding (HE) 嵌入到对抗训练（AT）中，是否能在多种 AT 框架下持续提升鲁棒性？
• RQ2 特征归一化、权重归一化和角度边际如何与 AT 动态交互，以提升鲁棒性和训练效率？
• RQ3 HE 方法与像 FreeAT、FastAT 这类加速策略兼容，且不会带来显著的计算开销吗？
• RQ4 HE 在 CIFAR-10 和 ImageNet 上对广泛的对抗攻击和数据污染性提高鲁棒性吗？
• RQ5 修改后的 HE（m-HE）能否在 AT 设置中更好地利用强对手？

主要发现

• 在与 HE 结合时，HE 在 PGD-AT、ALP 和 TRADES 上持续提升鲁棒性。
• HE 与 AT 互利，带来对抗鲁棒性的提升且额外计算量很小。
• FN 和 WN 通过将学习聚焦于困难样本并通过减少尺寸偏置权重更新来稳定训练；AM 通过扩大类别间边界进一步提升鲁棒性。
• HE 在白盒和黑盒攻击下以及在加速的 AT 方法（FreeAT 和 FastAT）中提升性能。
• 在某些 AT 配置中，m-HE 能提供对强对手的更好利用。
• 在 CIFAR-10 和 ImageNet 上的实验显示对多样攻击和数据损坏具有更好的鲁棒性和适应性。