[论文解读] Combinatorial Attacks on Binarized Neural Networks

Elias B. Khalil, Amrita Gupta+1 more|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning被引用 20

一句话总结

本文提出了一种新颖的组合攻击方法 IProp，用于二值化神经网络（BNNs），结合整数规划与迭代目标传播。该方法在生成更强的对抗性样本方面优于标准的基于梯度的攻击方法（如 FGSM），尤其在 MNIST 和 Fashion-MNIST 上表现更优，同时突破了精确 MILP 求解的规模限制。

ABSTRACT

Binarized Neural Networks (BNNs) have recently attracted significant interest due to their computational efficiency. Concurrently, it has been shown that neural networks may be overly sensitive to "attacks" - tiny adversarial changes in the input - which may be detrimental to their use in safety-critical domains. Designing attack algorithms that effectively fool trained models is a key step towards learning robust neural networks. The discrete, non-differentiable nature of BNNs, which distinguishes them from their full-precision counterparts, poses a challenge to gradient-based attacks. In this work, we study the problem of attacking a BNN through the lens of combinatorial and integer optimization. We propose a Mixed Integer Linear Programming (MILP) formulation of the problem. While exact and flexible, the MILP quickly becomes intractable as the network and perturbation space grow. To address this issue, we propose IProp, a decomposition-based algorithm that solves a sequence of much smaller MILP problems. Experimentally, we evaluate both proposed methods against the standard gradient-based attack (FGSM) on MNIST and Fashion-MNIST, and show that IProp performs favorably compared to FGSM, while scaling beyond the limits of the MILP.

研究动机与目标

• 解决为 BNNs 生成有效对抗性样本的挑战，因为 BNNs 不可微分，因而对基于梯度的攻击具有抗性。
• 克服精确混合整数线性规划（MILP）公式在 BNN 对抗攻击中面临的可扩展性限制。
• 开发一种可扩展的组合攻击算法，利用 BNN 的离散结构生成强于基于梯度方法的扰动。
• 通过生成高质量的对抗性样本，提升 BNN 的对抗训练效果，从而增强模型的鲁棒性。

提出的方法

• 将对抗攻击问题建模为混合整数线性规划（MILP），利用 BNN 的分段常数特性及符号函数激活函数。
• 采用基于分解的迭代算法 IProp，通过连续求解 MILP 子问题，逐层调整扰动以实现目标传播。
• 在 IProp 中应用自适应步长策略，初始步长为网络宽度的 5%，若连续 5 次迭代无改进则减半。
• 通过 FGSM 生成的扰动对 IProp 进行热启动，以提升初始解质量并加速收敛。
• 采用灵活的 MILP 公式，支持目标攻击与非目标攻击，同时支持扰动大小与稀疏性约束。
• 利用 BNN 的离散、不可微分结构，设计一种组合优化方法，避免依赖梯度。

实验结果

研究问题

• RQ1 混合整数线性规划（MILP）公式能否为小型 BNNs 生成全局最优的对抗性扰动？
• RQ2 与基于精确 MILP 的攻击相比，基于梯度的攻击（如 FGSM）在对抗性成功率与扰动质量方面表现如何？
• RQ3 像 IProp 这样的迭代式、基于分解的算法是否能在超越 MILP 求解计算极限的同时，保持或提升攻击强度？
• RQ4 自适应步长策略与热启动是否能提升 IProp 在生成对抗性样本方面的效率与有效性？
• RQ5 由于 BNN 的离散与不可微分特性，组合优化方法在攻击 BNN 时能多大程度上超越基于梯度的攻击？

主要发现

• MILP 公式能成功计算小型 BNNs 的全局最优对抗性扰动，揭示了 MILP 与 FGSM 之间显著的性能差距。
• IProp 在生成对抗性样本方面始终优于 FGSM，能实现更高的成功率，将预测结果成功翻转至目标类别。
• IProp 有效突破了 MILP 求解的规模限制，可对更大规模网络及更高扰动预算的场景实施攻击。
• IProp 中的自适应步长策略在不同网络规模与扰动预算下，性能与固定步长相当或更优。
• 使用 FGSM 生成的扰动对 IProp 进行热启动，能显著提升攻击成功率，证明高质量初始解的价值。
• IProp 的迭代特性使其攻击强度可持续提升，仅需数秒运行时间，性能即超越 FGSM。