[논문 리뷰] PatchCensor: Patch Robustness Certification for Transformers via Exhaustive Testing

Yuheng Huang, Yuanchun Li외 1명|arXiv (Cornell University)|2021. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 5

한 줄 요약

PatchCensor는 추론 시에 다수의 어텐션 마스크 변형을 검토함으로써 적대적 패치에 대한 증명 가능한 강건성을 확보하는 테스트 시 인증 방법을 제안한다. 이는 적어도 한 번의 추론에서 오염된 패치가 제외되도록 보장함으로써 정확한 예측을 보장하며, 정상적인 ViT와 동일한 정확도를 유지하면서 ImageNet에서 2%-픽셀 적대적 패치에 대해 67.1%의 인증 정확도를 달성한다.

ABSTRACT

Vision Transformer (ViT) is known to be highly nonlinear like other classical neural networks and could be easily fooled by both natural and adversarial patch perturbations. This limitation could pose a threat to the deployment of ViT in the real industrial environment, especially in safety-critical scenarios. In this work, we propose PatchCensor, aiming to certify the patch robustness of ViT by applying exhaustive testing. We try to provide a provable guarantee by considering the worst patch attack scenarios. Unlike empirical defenses against adversarial patches that may be adaptively breached, certified robust approaches can provide a certified accuracy against arbitrary attacks under certain conditions. However, existing robustness certifications are mostly based on robust training, which often requires substantial training efforts and the sacrifice of model performance on normal samples. To bridge the gap, PatchCensor seeks to improve the robustness of the whole system by detecting abnormal inputs instead of training a robust model and asking it to give reliable results for every input, which may inevitably compromise accuracy. Specifically, each input is tested by voting over multiple inferences with different mutated attention masks, where at least one inference is guaranteed to exclude the abnormal patch. This can be seen as complete-coverage testing, which could provide a statistical guarantee on inference at the test time. Our comprehensive evaluation demonstrates that PatchCensor is able to achieve high certified accuracy (e.g. 67.1% on ImageNet for 2%-pixel adversarial patches), significantly outperforming state-of-the-art techniques while achieving similar clean accuracy (81.8% on ImageNet). Meanwhile, our technique also supports flexible configurations to handle different adversarial patch sizes (up to 25%) by simply changing the masking strategy.

연구 동기 및 목표

• 안전 중심 응용 분야에서 비전 트랜스포머의 적대적 패치 공격에 대한 취약성을 해결하기 위해.
• 모델 재학습 없이도 증명 가능한 테스트 시 인증 강건성을 제공하기 위해.
• 원본 모델의 정상 정확도를 유지하면서도 높은 인증 정확도를 달성하기 위해.
• 다양한 적대적 패치 크기에 맞게 유연하게 구성 가능한 설정을 지원하기 위해.

제안 방법

• PatchCensor는 추론 중에 다수의 변형된 어텐션 마스크를 생성함으로써 철저한 테스트를 수행한다.
• 각 입력은 투표 방식으로 다수의 추론을 통해 평가되며, 적어도 한 번은 적대적 패치가 제외된 추론이 보장된다.
• 이 방법은 비전 트랜스포머의 구조적 특성을 활용하여 어텐션 헤드에 대한 완전한 커버리지 테스트를 보장한다.
• 다양한 패치를 체계적으로 제외함으로써 영향을 탐지하고 완화하는 마스킹 전략을 사용한다.
• 변형 집합의 완전성에서 유도된 통계적 보장을 통해 인증을 달성한다.
• 이 접근법은 입력 모odal에 관계없이 일반화 가능하며, 특징 수준의 마스킹을 통해 NLP 작업으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 테스트 시 방어가 비전 트랜스포머의 적대적 패치에 대해 증명 가능한 강건성을 제공할 수 있는가?
• RQ2 정상 정확도를 저하시키지 않으면서도 인증 정확도를 어떻게 최대화할 수 있는가?
• RQ3 이 방법은 다양한 크기의 적대적 패치에 대해 민감하게 유연하게 적용될 수 있는가?
• RQ4 이 방어는 ImageNet과 GTSRB와 같은 다양한 벤치마크에서 효과적인가?
• RQ5 이 마스킹 전략은 텍스트와 같은 다른 모달리티로 일반화될 수 있는가?

주요 결과

• PatchCensor는 ImageNet에서 2%-픽셀 적대적 패치에 대해 67.1%의 인증 정확도를 달성하며, 기존 최고 수준의 방법들을 크게 능가한다.
• 이 방법은 ImageNet에서 정상 정확도 81.8%를 유지하며, 원본 ViT 모델과 동일한 성능을 보인다.
• 조정 가능한 마스킹 전략을 통해 다양한 크기의 적대적 패치에 대해 민감하게 구성 가능한 설정을 지원한다.
• CIFAR-10, GTSRB, Food-101, PartImageNet에서의 평가를 통해 다양한 데이터셋과 실제 환경에서의 강건성을 확인하였다.
• 낮은 계산 오버헤드 덕분에 테스트 시에만 작동하는 점을 고려할 때 실용성과 확장성이 뛰어나다.
• 마스킹이 입력 모달리티에 독립적인 추상적 특징 수준에서 작동하므로, 이 방법은 NLP 작업으로도 확장 가능하다.