[논문 리뷰] ScaleCert: Scalable Certified Defense against Adversarial Patches with Sparse Superficial Layers

Husheng Han, Kaidi Xu외 7명|arXiv (Cornell University)|2021. 10. 27.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 13

한 줄 요약

ScaleCert는 고해상도 이미지에서 적대적 패치에 대한 확장 가능한 인증 방어를 위해 희박한 표면층(SIN 기반 프루닝)을 활용하여 적대적 영역 탐색 오버헤드와 예측 노이즈를 줄입니다. ImageNet에서 60.4%의 인증 정확도를 달성하여 이전 최고 성능인 36.3%를 크게 능가합니다.

ABSTRACT

Adversarial patch attacks that craft the pixels in a confined region of the input images show their powerful attack effectiveness in physical environments even with noises or deformations. Existing certified defenses towards adversarial patch attacks work well on small images like MNIST and CIFAR-10 datasets, but achieve very poor certified accuracy on higher-resolution images like ImageNet. It is urgent to design both robust and effective defenses against such a practical and harmful attack in industry-level larger images. In this work, we propose the certified defense methodology that achieves high provable robustness for high-resolution images and largely improves the practicality for real adoption of the certified defense. The basic insight of our work is that the adversarial patch intends to leverage localized superficial important neurons (SIN) to manipulate the prediction results. Hence, we leverage the SIN-based DNN compression techniques to significantly improve the certified accuracy, by reducing the adversarial region searching overhead and filtering the prediction noises. Our experimental results show that the certified accuracy is increased from 36.3% (the state-of-the-art certified detection) to 60.4% on the ImageNet dataset, largely pushing the certified defenses for practical use.

연구 동기 및 목표

• ImageNet과 같은 고해상도 데이터셋에 대해 기존 방법이 낮은 인증 정확도를 기록하는 등 인증 방어의 핵심적 격차를 메우기 위해.
• 실세계 배포를 위한 높은 강건성과 추론 효율성을 유지하면서 실용적이고 확장 가능한 인증 방어를 개발하기 위해.
• 적대적 패치가 국소적 표면 중요 신경망(이하 SINs)을 악용하여 예측을 조작한다는 통찰을 활용하기 위해.
• SIN 기반 프루닝을 통해 적대적 영역 후보 탐색을 최소화하여 인증 방어의 계산 오버헤드를 줄이기 위해.
• 구조적 신경망 희박성을 통해 자연 정확도를 유지하면서도 높은 인증 정확도를 달성하기 위해.

제안 방법

• 활성화 통계와 상위-k 선택(승자 비율 k)을 사용하여 얕은 층에서 국소적 표면 중요 신경망(SINs)을 식별합니다.
• SIN 기반 프루닝을 적용하여 활성화 맵을 희박하게 만들고, 적대적 영역 탐지에서 노이즈와 관련 없는 특징을 걸러냅니다.
• 겹침 임계값 τ를 가진 슬라이딩 가림 윈도우 메커니즘을 사용하여 후보 윈도우를 통합하고 탐색 공간을 줄입니다.
• SIN 마스크 기반의 구조적 제거 전략을 적용하여 추론 중에 적대적 패치를 탐지하고 가림합니다.
• 무작위 스무딩 원리를 사용한 인증 강건성 프레임워크에 방어 기능을 통합하여 증명 가능한 보장을 확보합니다.
• 인증 정확도, 클린 정확도, 추론 지연 시간을 균형 잡기 위해 하이퍼파rameter(k, τ, l)를 최적화합니다.

실험 결과

연구 질문

• RQ1 SIN 기반 희박성은 고해상도 이미지에서 적대적 영역 탐색 공간을 줄이고 인증 정확도를 향상시킬 수 있는가?
• RQ2 SIN 마스크에서 승자 비율(k)의 선택은 인증 정확도와 모델 효율성 사이의 트레이드오���에 어떤 영향을 미치는가?
• RQ3 가림 윈도우를 통합하기 위한 최적의 겹침 비율(τ)은 무엇인가? 이는 정확도를 희생시키지 않으면서 지연 시간을 최소화하는가?
• RQ4 기존의 인증 방어 대비 제안된 방법은 높은 인증 정확도와 낮은 계산 오버헤드를 동시에 달성할 수 있는가?
• RQ5 실세계 시나리오에서 ScaleCert는 적대적 패치 공격에 의해 손상된 진짜 레이블을 어느 정도 회복할 수 있는가?

주요 결과

• ScaleCert는 1% 픽셀 적대적 패치에 대해 ImageNet에서 60.4%의 인증 정확도를 달성하여 이전 최고 성능인 36.3%보다 뚜렷한 향상을 이룹니다.
• 2% 패치의 경우 겹침 비율 임계값 τ = 0.3을 사용할 때 56.6%의 인증 정확도를 유지하여 효율성과 강건성을 균형 잡습니다.
• MRD 대비 100배 이상의 속도 향상을 달성했으며, PG-Mask-DS와 유사한 지연 시간을 기록하여 뛰어난 계산 효율성을 입증합니다.
• 실험적 복구 결과, 패치 가림 후 분류 정확도가 10,000장의 ImageNet 이미지에서 14.0%에서 85.8%로 회복됨을 확인하여 효과적인 레이블 복구를 입증합니다.
• 최적의 하이퍼파rameter 설정에서 클린 정확도는 높은 62.5%를 유지하여 청소년 입력에 대한 성능 저하가 최소한임을 시사합니다.
• k = 10%로 프루닝을 수행할 경우 원본 모델 정확도의 73.6%를 유지하며 최고의 인증 정확도를 달성하여 희박성과 성능 사이의 최적 트레이드오프를 보여줍니다.