[論文レビュー] Combinatorial Attacks on Binarized Neural Networks

Elias B. Khalil, Amrita Gupta+1 more|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning被引用数 20

ひとこと要約

本稿では、整数プログラミングと反復的ターゲット伝播を用いた、バイナリ化ニューラルネットワーク（BNNs）向けの新しい組合せ的攻撃手法IPropを提案する。FGSMのような標準的な勾配ベースの攻撃と比較して、特にMNISTおよびFashion-MNISTにおいてより強力な adversarial examples を生成するが、正確なMILP解法の限界を超えてスケーリング可能である。

ABSTRACT

Binarized Neural Networks (BNNs) have recently attracted significant interest due to their computational efficiency. Concurrently, it has been shown that neural networks may be overly sensitive to "attacks" - tiny adversarial changes in the input - which may be detrimental to their use in safety-critical domains. Designing attack algorithms that effectively fool trained models is a key step towards learning robust neural networks. The discrete, non-differentiable nature of BNNs, which distinguishes them from their full-precision counterparts, poses a challenge to gradient-based attacks. In this work, we study the problem of attacking a BNN through the lens of combinatorial and integer optimization. We propose a Mixed Integer Linear Programming (MILP) formulation of the problem. While exact and flexible, the MILP quickly becomes intractable as the network and perturbation space grow. To address this issue, we propose IProp, a decomposition-based algorithm that solves a sequence of much smaller MILP problems. Experimentally, we evaluate both proposed methods against the standard gradient-based attack (FGSM) on MNIST and Fashion-MNIST, and show that IProp performs favorably compared to FGSM, while scaling beyond the limits of the MILP.

研究の動機と目的

• 微分不能なBNNsに対して効果的な adversarial examples を生成する課題に取り組む。これは勾配ベースの攻撃に対して抵抗性を示すためである。
• BNNsに対する adversarial attacks における正確な混合整数線形計画（MILP）定式化のスケーラビリティの限界を克服する。
• BNNsの離散的構造を活用して、勾配依存の手法よりも強力な摂動を生成する、スケーラブルな組合せ的攻撃アルゴリズムを開発する。
• 高品質な adversarial examples を生成することで、BNNsのより良い adversarial training を可能にする。これによりモデルのロバスト性が向上する。

提案手法

• BNNsの区分的定数性と符号関数活性化関数の性質を活用して、adversarial attack 問題を混合整数線形計画（MILP）として定式化する。
• 層ごとに摂動を調整する逐次的なMILP部分問題を解くことでターゲット伝播を実行する、分解型反復アルゴリズムIPropを用いる。
• IPropに適応的ステップサイズ戦略を適用し、初期ステップサイズをネットワーク幅の5%に設定し、5回の反復ごとに改善が見られなければ半分ずつに小さくする。
• 収束を加速し初期解の品質を向上させるために、IPropをFGSMで生成された摂動でウォームスタートする。
• ターゲット攻撃とアンターゲット攻撃の両方をサポートする柔軟なMILP定式化を採用し、摂動の大きさやスパarsity制約も可能にする。
• BNNsの離散的・微分不能な構造を活かして、勾配に依存しない組合せ最適化アプローチを設計する。

実験結果

リサーチクエスチョン

• RQ1 小さなBNNsに対して、混合整数線形計画（MILP）定式化はグローバルに最適な adversarial perturbation を生成できるか？
• RQ2 FGSMのような勾配ベースの攻撃と正確なMILPベースの攻撃を比較した場合、adversarial success rate と摂動品質の観点でどちらが優れているか？
• RQ3 IPropのような反復的・分解型アルゴリズムは、MILPの計算限界を超えてスケーリング可能でありながら、攻撃強度を維持または向上できるか？
• RQ4 適応的ステップサイズ戦略とウォームスタートの使用は、IPropによる adversarial examples 生成の効率性と有効性を向上させるか？
• RQ5 BNNsの離散的・微分不能な性質を考慮すると、組合せ最適化手法は勾配ベースの攻撃をどの程度上回れるか？

主な発見

• MILP定式化は小さなBNNsに対してグローバルに最適な adversarial perturbation を正確に計算でき、MILPとFGSMの間で顕著な性能差が明らかになった。
• IPropはFGSMに比べて一貫して優れた adversarial examples を生成し、ターゲットクラスへの予測の反転成功率が高くなった。
• IPropはMILP解法の限界を超えて効果的にスケーリングでき、より大きなネットワークや高い摂動予算に対しても攻撃が可能になった。
• IPropにおける適応的ステップサイズ戦略は、異なるネットワークサイズや摂動予算において、固定ステップサイズと同等またはそれ以上の性能を達成した。
• FGSMで生成された摂動でIPropをウォームスタートすることで、攻撃成功確率が顕著に向上し、高品質な初期解の価値が示された。
• IPropの反復的性質により、攻撃強度が継続的に向上し、わずか数秒の実行時間でFGSMを上回る性能を達成した。