[논문 리뷰] Efficient Certified Defenses Against Patch Attacks on Image Classifiers

Jan Hendrik Metzen, Maksym Yatsura|arXiv (Cornell University)|2021. 02. 08.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 23

한 줄 요약

BagCert는 소규모 수신장치를 가진 CNN과 마진 기반 손실을 사용하여 적대적 패치 공격에 대해 효율적이고 종단 간 인증 가능한 방어를 제안한다. CIFAR-10에서 5×5 패치에 대해 86%의 정상 정확도와 60%의 인증 정확도를 달성하며, 단일 GPU에서 10,000장의 테스트 이미지를 43초 내에 인증한다.

ABSTRACT

Adversarial patches pose a realistic threat model for physical world attacks on autonomous systems via their perception component. Autonomous systems in safety-critical domains such as automated driving should thus contain a fail-safe fallback component that combines certifiable robustness against patches with efficient inference while maintaining high performance on clean inputs. We propose BagCert, a novel combination of model architecture and certification procedure that allows efficient certification. We derive a loss that enables end-to-end optimization of certified robustness against patches of different sizes and locations. On CIFAR10, BagCert certifies 10.000 examples in 43 seconds on a single GPU and obtains 86% clean and 60% certified accuracy against 5x5 patches.

연구 동기 및 목표

• 자율주행 차량과 같은 안전이 중요한 시스템에서 물리적으로 실현 가능한 패치 공격에 대해 인증 가능한 강건성을 확보할 필요를 해결한다.
• 낮은 인증 정확도, 열악한 정상 정확도 또는 높은 추론 비용으로 인해 제한되는 기존의 인증 방어 방식을 극복한다.
• 후행 캘리브레이션 없이도 인증 강건성을 직접 최적화하는 종단 간 훈련을 가능하게 한다.
• 단일 전방향 프로세스를 통해 소규모 수신장치를 활용해 효율적인 추론을 달성하며, 비용이 많이 드는 앙상블 또는 다중 전방향 프로세스를 피한다.

제안 방법

• 세 가지 인증 조건을 제안하며, 이 중 개선된 변형은 이전 작업 대비 약 3%p 향상된 인증 정확도를 제공한다.
• 균일하게 분포된 패치 크기, 위치, 종횡비에 대해 인증 강건성을 직접 최적화하는 마진 기반 손실 함수를 유도한다.
• 매우 작은 수신장치(예: 5×5에서 13×13)를 가진 모델 아키텍처를 설계하여 전체 입력에 대해 단일 전방향 프로세스로 효율적인 추론을 가능하게 한다.
• BagNets와 PatchGuard와 유사하게 소규모 영역의 국소 예측에 대한 다수결 투표를 사용해 이미지 분류를 수행하지만, 전체 종단 간 훈련을 통한 완전한 최적화를 실현한다.
• 위협 모델 내에서 가능한 모든 패치 배치 및 크기에 대해 강건성을 검증하기 위해 인증 조건을 적용한다.
• 손실 함수를 훈련 과정에 통합하여, 모델이 정상 정확도뿐만 아니라 인증 강건성에도 최적화되도록 보장한다.

실험 결과

연구 질문

• RQ1 종단 간 훈련을 통해 높은 인증 정확도와 정상 정확도를 확보하면서도 패치 공격에 대해 효율적인 추론을 유지할 수 있는 인증 방어가 가능한가?
• RQ2 개선된 인증 조건이 광범위한 적용 가능성을 희생시키지 않고도 기존 조건 대비 인증 정확도에서 뛰어난 성능을 보일 수 있는가?
• RQ3 소규모 수신장치를 가진 단일 모델이 재학습 없이 다양한 패치 크기, 종횡비, 위치에 대해 강건성을 확보할 수 있는가?
• RQ4 제안된 방법의 추론 효율성은 Derandomized Smoothing 또는 IBP와 같은 기존의 인증 방어 대비 어떻게 비교되는가?
• RQ5 모델의 성능이 다양한 패치 형태와 크기, 비정사각형 패치를 포함한 일반화 정도는 어느 정도인가?

주요 결과

• BagCert는 CIFAR-10에서 5×5 적대적 패치에 대해 86%의 정상 정확도와 60%의 인증 정확도를 달성하며, 이는 이전의 인증 방어 대비 뚜렷한 승리이다.
• 단일 Tesla V100 GPU에서 10,000장의 CIFAR-10 테스트 이미지를 단 43.2초 내에 인증하며, Derandomized Smoothing(788초) 및 기타 베이스라인 대비 뛰어난 성능을 보였다.
• 인증 조건 3.2를 사용하면 추론 시간이나 정상 정확도에 영향을 주지 않으면서도 인증 정확도를 약 3%p 향상시킨다.
• BagCert는 24픽셀 비정사각형 패치의 모든 종횡비에서 높은 인증 정확도(≥40%)를 유지하지만, 컬럼 스무딩을 사용하는 Derandomized Smoothing는 짧고 넓은 패치에서 실패한다.
• ImageNet에서는 17×17 수신장치를 가진 BagCert가 조건 3.3를 통해 18.9%의 인증 정확도, 조건 3.2를 통해 22.9%의 인증 정확도를 달성하여 더 큰 데이터셋으로의 확장성을 입증했다.
• 7×7 수신장치와 마진 M=0.5를 가진 모델은 10×10 이하의 모든 테스트 패치 크기에서 거의 최적의 성능을 보이며, 단일 설정으로 광범위한 강건성을 확보함을 시사한다.