[論文レビュー] Certified Defenses for Adversarial Patches

Ping-yeh Chiang, Renkun Ni+4 more|arXiv (Cornell University)|Mar 14, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用数 79

ひとこと要約

この論文は、Interval Bound Propagation (IBP) を用いた敵対的パッチ攻撃に対する初の認定防御を導入し、従来のパッチ防御が白箱設定で破られ得ることを示し、正方形パッチに対する証明可能な頑健性を得る訓練法を提案し、疎な攻撃と形状転送へ拡張する。

ABSTRACT

Adversarial patch attacks are among one of the most practical threat models against real-world computer vision systems. This paper studies certified and empirical defenses against patch attacks. We begin with a set of experiments showing that most existing defenses, which work by pre-processing input images to mitigate adversarial patches, are easily broken by simple white-box adversaries. Motivated by this finding, we propose the first certified defense against patch attacks, and propose faster methods for its training. Furthermore, we experiment with different patch shapes for testing, obtaining surprisingly good robustness transfer across shapes, and present preliminary results on certified defense against sparse attacks. Our complete implementation can be found on: https://github.com/Ping-C/certifiedpatchdefense.

研究の動機と目的

• vision 系統の現実世界のパッチ攻撃に対する頑健性の動機付け。
• 白箱攻撃下で既存のパッチ防御の弱点を示す。
• Interval Bound Propagation (IBP) に基づくパッチ攻撃に対する認定防御を開発する。
• 証明可能な頑健性を得るためのより速い IBP 訓練バリアントを提案し、パッチ形状間および疎な攻撃に対する転移性を評価する。

提案手法

• IBP をパッチ攻撃設定へ拡張し、すべての可能なパッチ位置と摂動に対して頑健性を認証する。
• 証明条件を定義し、敵対的精度の下界（certified accuracy）を計算する方法を提供する。
• 安定した IBP 訓練と摂動を徐々に拡大する ε スケジュールを訓練時の工夫として導入する。
• 画像サイズの二乗スケールを回避するための効率的な証明訓練スキームを2つ提案する（Random Patch と Guided Patch）。
• 第一層の境界を変更してトップ-k ピクセルの摂動を考慮することで、疎な攻撃に対する IBP 防御を拡張する。
• 正方形パッチで訓練したモデルの転移性を他の形状へ評価し、様々なデータセットで検証する。

実験結果

リサーチクエスチョン

• RQ1 パッチベースの敵対的例に対して、証明可能なマージン内でニューラルネットワークの頑健性を認証できるか。
• RQ2 白箱攻撃下で既存のパッチ防御はどう機能するか、認定訓練でそれを上回れるか。
• RQ3 パッチ攻撃のための厳密な証明を得るための実践的な訓練戦略は何か。
• RQ4 異なるパッチ形状間で頑健性は転移するか、疎な攻撃では頑健性はどうなるか。

主な発見

• 従来のパッチ防御（DW、LGS）は白箱攻撃下で脆弱であり、バックプロパゲーションへの組込みや BPDA を通じて破られ得る。
• IBP ベースの証明可能な防御はパッチ攻撃に対して非自明な証明可能精度を達成でき、例として MNIST 2x2 パッチで 91.6%、CIFAR-10 5x5 パッチで 24.9% の証明可能精度を得る（選択モデルの場合）。
• 全パッチ証明訓練は無制限の計算資源があれば最良の証明可能精度を与えるが、ランダムまたは指導付きパッチ訓練は効率とスケーラビリティで著しく優れる。
• 正方形パッチ訓練モデルは他の形状（長方形、直線、菱形、平行四辺形）へ頑健性を転移させるが、ピクセル数が多い形状（長方形など）では証明可能精度が一般に低下する。
• 疎な攻撃（k 個の非隣接ピクセル）に対しても、IBP 訓練モデルは MNIST および CIFAR-10 で競争力のある証明可能精度を達成し、MNIST の一部の疎なベースラインより優れる。
• より大きいモデルは証明可能精度を向上させ、例として CIFAR の大規模モデルでは 5x5 パッチで約 30.3% の証明可能精度に到達。