[논문 리뷰] Decision-based Black-box Attack Against Vision Transformers via Patch-wise Adversarial Removal

Yucheng Shi, Yahong Han외 2명|arXiv (Cornell University)|2021. 12. 06.

Adversarial Robustness in Machine Learning인용 수 13

한 줄 요약

이 논문은 영역별 노이즈 민감도에 따라 적응적으로 노이즈 패치를 한 개씩 제거함으로써 비전 트랜스포머(ViTs)에 대한 노이즈 압축 효율을 향상시키는 결정 기반 블랙박스 공격인 패치별 적대적 제거(Patch-wise Adversarial Removal, PAR)를 제안한다. PAR는 기존 기준 방법보다 훨씬 낮은 노이즈 크기와 더 적은 쿼리 수로 성능을 달성하며, ViTs와 CNN 모두에서 다른 공격의 초기화에 사용되어 추가적인 효율성 향상을 이끌 수 있다.

ABSTRACT

Vision transformers (ViTs) have demonstrated impressive performance and stronger adversarial robustness compared to Convolutional Neural Networks (CNNs). On the one hand, ViTs' focus on global interaction between individual patches reduces the local noise sensitivity of images. On the other hand, the neglect of noise sensitivity differences between image regions by existing decision-based attacks further compromises the efficiency of noise compression, especially for ViTs. Therefore, validating the black-box adversarial robustness of ViTs when the target model can only be queried still remains a challenging problem. In this paper, we theoretically analyze the limitations of existing decision-based attacks from the perspective of noise sensitivity difference between regions of the image, and propose a new decision-based black-box attack against ViTs, termed Patch-wise Adversarial Removal (PAR). PAR divides images into patches through a coarse-to-fine search process and compresses the noise on each patch separately. PAR records the noise magnitude and noise sensitivity of each patch and selects the patch with the highest query value for noise compression. In addition, PAR can be used as a noise initialization method for other decision-based attacks to improve the noise compression efficiency on both ViTs and CNNs without introducing additional calculations. Extensive experiments on three datasets demonstrate that PAR achieves a much lower noise magnitude with the same number of queries.

연구 동기 및 목표

• 비전 트랜스포머(ViTs)에 대한 기존 결정 기반 블랙박스 공격들이 노이즈 민감도가 다른 이미지 영역을 동일하게 취급함에도 불구하고 효율성이 떨어지는 문제를 해결하기 위해.
• ViTs의 패치 기반 아키텍처와 낮은 전반적 노이즈 민감도로 인해 기존 공격인 Boundary Attack이 ViTs에서 노이즈를 압축하는 데 한계를 보이는 이유를 분석하기 위해.
• 노이즈 민감도가 가장 높은 영역에서만 노이즈를 동적으로 선택하고 압축함으로써 압축 효율을 향상시키는 새로운 결정 기반 공격인 패치별 적대적 제거(Patch-wise Adversarial Removal, PAR)를 설계하기 위해.
• PAR가 다른 결정 기반 공격의 효과적인 노이즈 초기화 방법이 될 수 있음을 입증하여, ViTs와 CNN 모두에서 추가적인 계산 없이도 성능 향상을 이끌어내기 위해.

제안 방법

• PAR는 입력 이미지를 겹치지 않는 패치로 나누고, 굵은 단계에서 세밀한 단계로의 탐색을 수행하며, 점진적으로 패치 크기를 줄여 노이즈 민감도 추정을 정밀화한다.
• PAR는 각 패치의 노이즈 크기를 추적하는 마스크와, 쿼리 피드백 기반으로 각 패치의 노이즈 민감도를 추정하는 마스크를 두 개 유지한다.
• 각 단계에서 가장 높은 쿼리 값을 기록한 패치(즉, 높은 민감도를 나타냄)를 선택하여 노이즈 압축을 수행하며, 이는 노이즈 제거가 성공할 가능성이 가장 높은 영역을 우선순위로 삼는다.
• 선택된 패치들에 대해 결정 기반 최적화 전략을 사용하여 반복적으로 노이즈 압축을 수행하며, 최소 패치 크기에 도달하거나 공격에 성공할 때까지 이를 반복한다.
• 이 방법은 ViTs의 구조적 특성인 개별 패치의 노이즈가 최종 분류에 미치는 영향이 작다는 점을 활용하여, 높은 민감도 영역에 집중하고 낮은 민감도 영역에서는 불필요한 쿼리를 방지한다.
• PAR는 다른 결정 기반 공격의 노이즈 초기화 기법으로 사용될 수 있으며, 공격의 시작점을 개선하고 전체 압축 효율을 높이는 데 기여한다.

실험 결과

연구 질문

• RQ1 비전 트랜스포머(ViTs)는 강력한 적대적 내성성을 지니고 있음에도 불구하고 기존 결정 기반 블랙박스 공격이 왜 성능이 떨어지는가?
• RQ2 ViTs에서 노이즈 민감도는 다양한 이미지 영역 간에 어떻게 달라지며, 이러한 변화를 어떻게 활용하여 공격 효율을 향상시킬 수 있는가?
• RQ3 패치 기반의 민감도 인식 노이즈 제거 전략이 ViTs에 대한 결정 기반 공격에서 균일한 노이즈 압축보다 우월한 성능을 낼 수 있는가?
• RQ4 PAR를 노이즈 초기화 방법으로 사용할 경우, 다른 결정 기반 공격의 성능 향상 정도는 어느 정도인가?
• RQ5 압축 효율과 쿼리 비용의 균형을 고려할 때, PAR의 최적의 최소 패치 크기는 무엇인가?

주요 결과

• PAR는 ImageNet-2012에서 Boundary Attack 대비 중앙값 노이즈 크기를 최대 78%까지 감소시켰으며, 단지 60개의 쿼리로도 L2 노름 2.218를 달성했다.
• 초기화 방법으로 사용했을 때, PAR는 ImageNet-2012에서 Boundary Attack의 평균 노이즈 크기를 8.134에서 4.335로 줄였고, ImageNet-21k에서는 15.687에서 8.55로 감소시켰다.
• PAR는 동일한 쿼리 예산 내에서 쿼리당 0.673개의 노이즈 단위를 압축하는 데 성공했으며, 이는 Evo(0.035)와 Boundary(0.040)를 크게 앞서는 성능이다.
• PAR를 초기화 방법으로 사용하면 Sign-OPT, SurFree, CAB 공격의 평균 노이즈 크기를 ImageNet-2012에서 최대 75%까지 감소시켰다.
• 최소 패치 크기를 1로 설정했을 때도 PAR는 높은 효율을 유지하지만, 쿼리 비용이 크게 증가함을 확인하여 해상도와 효율성 간의 상충 관계를 확인할 수 있었다.
• 시간 비용 분석 결과, PAR는 쿼리당 0.037초의 빠른 처리 속도를 기록했으며, 다른 공격의 초기화에 사용될 경우 추가 계산 비용이 거의 들지 않음에도 불구하고 전체 압축 효율을 크게 향상시켰다.