[論文レビュー] PatchGuard: A Provably Robust Defense against Adversarial Patches via Small Receptive Fields and Masking

Chong Xiang, Arjun Nitin Bhagoji+2 more|arXiv (Cornell University)|May 17, 2020

Adversarial Robustness in Machine Learning参考文献 64被引用数 37

ひとこと要約

PatchGuard は CNN の小さな受容野と頑健なマスキング集約を用いて、局所的な敵対パッチに対して証明可能に堅牢な防御を確立し、正しい予測を回復する。

ABSTRACT

Localized adversarial patches aim to induce misclassification in machine learning models by arbitrarily modifying pixels within a restricted region of an image. Such attacks can be realized in the physical world by attaching the adversarial patch to the object to be misclassified, and defending against such attacks is an unsolved/open problem. In this paper, we propose a general defense framework called PatchGuard that can achieve high provable robustness while maintaining high clean accuracy against localized adversarial patches. The cornerstone of PatchGuard involves the use of CNNs with small receptive fields to impose a bound on the number of features corrupted by an adversarial patch. Given a bounded number of corrupted features, the problem of designing an adversarial patch defense reduces to that of designing a secure feature aggregation mechanism. Towards this end, we present our robust masking defense that robustly detects and masks corrupted features to recover the correct prediction. Notably, we can prove the robustness of our defense against any adversary within our threat model. Our extensive evaluation on ImageNet, ImageNette (a 10-class subset of ImageNet), and CIFAR-10 datasets demonstrates that our defense achieves state-of-the-art performance in terms of both provable robust accuracy and clean accuracy.

研究の動機と目的

• 実世界環境における局所的な敵対パッチの脅威と、証明可能な堅牢性の必要性を動機づける。
• クリーン精度を維持しつつ証明可能な堅牢性を実現する汎用防御フレームワーク PatchGuard を提案する。
• 小さな受容野が破損特徴を制限し、頑健なマスキングが特徴を安全に集約することを示す。
• 正式な堅牢性分析を提供し、証明可能な保証を可能にする敵対的ジレンマを示す。
• ImageNet、ImageNette、CIFAR-10 で実世界データを評価し、最先端の性能を確立する。

提案手法

• 敵対パッチが汚染できる特徴の数を制限するために小さな受容野を持つCNNを採用する。
• 腐敗した特徴を検出・マスクする安全な特徴集約機構として頑健なマスキングを導入する。
• 異常に高いクラス証拠を持つ領域を識別し、それらをマスクするためのクリップおよびウィンドウベースの検出。
• ウィンドウをパッチの影響を上限化するサイズにして、クラス間での頑健なマスキングを可能にする。
• マスキングが敵対的影響を制限し、脅威モデルの下で正しい予測を証明可能に保証する分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 PatchGuard は定義された領域内の単一の局所パッチに対して証明可能な堅牢性を提供できるか？
• RQ2 小さな受容野と安全な集約は、従来の防御と比較して堅牢性とクリーン精度にどう影響するか？
• RQ3 強力な敵対パッチ脅威モデルの下で、ImageNet、ImageNette、CIFAR-10 における頑健なマスキングの実用的有効性はどの程度か？

主な発見

• PatchGuard は局所的なパッチに対して最先端の証明可能な堅牢性を達成し、クリーン精度を高く維持する。
• 小さな受容野は破損特徴の数を効果的に制限し、安全な集約を可能にする。
• 頑健なマスキングは破損した特徴を検出・マスクし、ほとんどの認証済みケースで正しい予測を回復する。
• このフレームワークは既存のいくつかの防御を包含し、評価データセット全体で証明可能な堅牢性と精度の指標でそれらを上回る。