[論文レビュー] PatchGuard: Provable Defense against Adversarial Patches Using Masks on Small Receptive Fields.

Chong Xiang, Arjun Nitin Bhagoji+2 more|arXiv (Cornell University)|May 17, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 17

ひとこと要約

PatchGuard は、局所的な adversarial パッチに対する provably robust な防御であり、小さな受容 field を持つ畳み込みネットワークを用いて、汚染される特徴の数を制限し、その後に汚染された特徴を検出し抑制する頑健なマスキング機構を適用する。この手法は、ImageNette 10 クラスで 86.5%、ImageNet で 18.6%、CIFAR-10 で 58.1% の最先端の provably robust 正確度を達成するとともに、高いクリーン正確度を維持する。

ABSTRACT

Localized adversarial patches aim to induce misclassification in machine learning models by arbitrarily modifying pixels within a restricted region of an image. Such attacks can be realized in the physical world by attaching the adversarial patch to the object to be misclassified. In this paper, we propose a general defense framework called PatchGuard that can achieve both high clean accuracy and provable robustness against localized adversarial patches. The cornerstone of PatchGuard is to use convolutional networks with small receptive fields that impose a bound on the number of features corrupted by an adversarial patch. Given a bound on the number of corrupted features, the problem of designing an adversarial patch defense reduces to that of designing a secure feature aggregation mechanism. Towards this end, we present our robust masking defense that robustly detects and masks corrupted features to recover the correct prediction. Our defense achieves state-of-the-art provable robust accuracy on ImageNette (a 10-class subset of ImageNet), ImageNet, and CIFAR-10 datasets. Against the strongest untargeted white-box adaptive attacker, we achieve 94.4% clean accuracy and 86.5% provable robust accuracy on 10-class ImageNette images against an adversarial patch consisting of 1% image pixels, 55.1% clean accuracy and 18.6% provable robust accuracy on 1000-class ImageNet images against a 1% pixel patch, and 84.5% clean accuracy and 58.1% provable accuracy on CIFAR-10 images against a 2.4% pixel patch.

研究の動機と目的

• 物理世界での展開において、機械学習モデルを誤導する可能性がある局所的な adversarial パッチの脅威に対処すること。
• adversarial パッチ攻撃に対して provable robustness を保証するとともに、高いクリーン正確度を維持する防御を構築すること。
• 畳み込みニューラルネットワークにおける小さな受容 field を活用して、汚染される特徴の数を削減すること。
• adversarial 条件下で汚染された特徴を検出しマスクできる安全な特徴集約メカニズムを設計すること。
• ImageNette、ImageNet、CIFAR-10 を含む複数のベンチマークデータセットで、最先端の provably robust 正確度を達成すること。

提案手法

• adversarial パッチが影響を及ぼす特徴の数を制限するために、小さな受容 field を持つ畳み込みニューラルネットワークを採用する。
• 受容 field のサイズに基づいて汚染される特徴数の上限を定義し、形式的な robustness 保証を可能にする。
• 安全な集約技術を用いて汚染された特徴を特定・抑制する頑健なマスキング機構を設計する。
• 汚染が限定的であるというモデルを用いて、防御問題を安全な特徴集約タスクに還元する。
• 推論時にマスキング機構を適用し、特徴の一部がパッチによって汚染された場合でも正しい予測を回復する。
• マスキング機構をエンドツーエンドで訓練することで、adversarial パッチ攻撃下でも互換性と頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 局所的な adversarial パッチに対して、高いクリーン正確度と provable robustness の両方を達成できる防御を設計できるか？
• RQ2 小さな受容 field をどのように活用すれば、汚染される特徴数を制限し、形式的な robustness 保証を可能にすることができるか？
• RQ3 adversarial パッチ攻撃下で、信頼性高く汚染された特徴を検出しマスクできる安全な特徴集約メカニズムとは何か？
• RQ4 強い white-box な適応的攻撃者に対して、多様なデータセットで提案された防御はどのように性能を示すか？
• RQ5 ImageNet のような大規模データセットに対しても、強力な頑健性と正確度を維持しながら、効果的にスケーリングできるか？

主な発見

• PatchGuard は、1% ピixeL の adversarial パッチに対して、10 クラスの ImageNette で 94.4% のクリーン正確度と 86.5% の provably robust 正確度を達成する。
• 1000 クラスの ImageNet データセット全体では、同じ 1% パッチ攻撃に対して 55.1% のクリーン正確度と 18.6% の provably robust 正確度を達成する。
• CIFAR-10 では、2.4% ピクセルのパッチ攻撃に対して 84.5% のクリーン正確度と 58.1% の provably robust 正確度を達成する。
• 多様なデータセットにわたり、強力な性能を維持しており、スケーラビリティと頑健性を示している。
• 小さな受容 field の使用により、汚染される特徴数が効果的に制限され、形式的な robustness 保証が可能になる。
• 頑健なマスキング機構は、画像の大部分が adversarial パッチによって摂動された場合でさえも、正しい予測を回復するのに成功している。