[논문 리뷰] PatchGuard: A Provably Robust Defense against Adversarial Patches via Small Receptive Fields and Masking

Chong Xiang, Arjun Nitin Bhagoji외 2명|arXiv (Cornell University)|2020. 05. 17.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 37

한 줄 요약

PatchGuard는 작은 수용 영역을 가진 CNNs와 견고한 마스킹 집계를 사용하여 로컬화된 적대적 패치에 대한 증명가능한 강력한 방어를 구축하고 올바른 예측을 회복합니다.

ABSTRACT

Localized adversarial patches aim to induce misclassification in machine learning models by arbitrarily modifying pixels within a restricted region of an image. Such attacks can be realized in the physical world by attaching the adversarial patch to the object to be misclassified, and defending against such attacks is an unsolved/open problem. In this paper, we propose a general defense framework called PatchGuard that can achieve high provable robustness while maintaining high clean accuracy against localized adversarial patches. The cornerstone of PatchGuard involves the use of CNNs with small receptive fields to impose a bound on the number of features corrupted by an adversarial patch. Given a bounded number of corrupted features, the problem of designing an adversarial patch defense reduces to that of designing a secure feature aggregation mechanism. Towards this end, we present our robust masking defense that robustly detects and masks corrupted features to recover the correct prediction. Notably, we can prove the robustness of our defense against any adversary within our threat model. Our extensive evaluation on ImageNet, ImageNette (a 10-class subset of ImageNet), and CIFAR-10 datasets demonstrates that our defense achieves state-of-the-art performance in terms of both provable robust accuracy and clean accuracy.

연구 동기 및 목표

• 현실 세계에서 로컬화된 적대적 패치의 위협과 증명 가능한 강건성의 필요성을 동기 부여합니다.
• Clean 정확도를 유지하면서 증명 가능한 강건성을 달성하는 일반적인 방어 프레임워크 PatchGuard를 제안합니다.
• 작은 수용 영역이 손상된 특징의 수를 제한하고 견고한 마스킹이 특징을 안전하게 집계함을 보여줍니다.
• 공격 시나리오 아래에서 증명 가능한 보장을 가능하게 하는 적대적 딜레마를 보여주는 형식적 강건성 분석을 제공합니다.
• ImageNet, ImageNette, CIFAR-10에서 실험적으로 평가하여 최첨단 성능을 확립합니다.

제안 방법

• 적대적 패치가 오염시킬 수 있는 특징의 수를 제한하기 위해 작은 수용 영역(receptive fields)을 갖는 CNN을 채택합니다.
• 오염된 특징을 탐지하고 마스킹하는 안전한 특징 집계 메커니즘으로 견고한 마스킹을 도입합니다.
• 비정상적으로 높은 클래스 증거를 가진 영역을 식별하고 마스킹하기 위해 클립-및 윈도우 기반 탐지를 사용합니다.
• 패치 영향력을 상한선으로 제한하도록 크기가 조정된 슬라이딩 윈도를 사용하여 클래스 전반에 걸친 견고한 마스킹을 가능하게 합니다.
• 제시된 위협 모델 하에서 마스킹이 적대적 영향을 제한하고 올바른 예측을 인증한다는 증명 가능한 강건성 분석을 제공합니다.

실험 결과

연구 질문

• RQ1 PatchGuard가 정의된 영역 내에서 단일 로컬화된 적대적 패치에 대해 증명 가능한 강건성을 제공할 수 있습니까?
• RQ2 작은 receptive fields와 견고한 집계가 이전 방어와 비교하여 강건성과 깨끗한 정확도에 어떠한 영향을 미칩니까?
• RQ3 강력한 패치 위협 모델하에서 ImageNet, ImageNette, CIFAR-10 전반에 걸친 견고한 마스킹의 실용적 효과는 무엇입니까?

주요 결과

• PatchGuard는 로컬화된 패치에 대한 최첨단 증명 가능한 강건성을 달성하면서도 높은 깨끗한 정확도를 유지합니다.
• 작은 수용 영역이 손상된 특징의 수를 효과적으로 제한하여 안전한 집계를 가능하게 합니다.
• 견고한 마스킹은 손상된 특징을 탐지하고 마스킹하여 대부분의 인증된 경우에 올바른 예측을 회복합니다.
• 이 프레임워크는 다수의 기존 방어를 포섭하고 평가된 데이터셋에서 증명 가능한 강건성과 정확도 지표 측면에서 이를 능가합니다.