[논문 리뷰] Robust Physical Hard-Label Attacks on Deep Learning Visual Classification

Ryan Feng, Jiefeng Chen외 3명|arXiv (Cornell University)|2020. 02. 17.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 5

한 줄 요약

GRAPHITE는 딥러닝 시각 분류기 대상으로 신체적 내구성이 뛰어난 하드 레이블 공격을 위한 첫 번째 알고리즘으로, 신체적 내구성의 매끄러운 대체 지표인 생존도(survivability)를 사용하여 기울기 없는 최적화를 통해 작고 효과적인 스티커를 최적화한다. 쿼리 접근 권한만으로도 실제 환경 테스트에서 정지 표지판을 30km/h 표지판으로 오분류하는 데 95.7%의 성공률을 기록했으며, ALPR 시스템에서는 75%의 오류율을 기록했다.

ABSTRACT

The physical, black-box hard-label setting is arguably the most realistic threat model for cyber-physical vision systems. In this setting, the attacker only has query access to the model and only receives the top-1 class label without confidence information. Creating small physical stickers that are robust to environmental variation is difficult in the discrete and discontinuous hard-label space because the attack must both design a small shape to perturb within and find robust noise to fill it with. Unfortunately, we find that existing $\ell_2$ or $\ell_\infty$ minimizing hard-label attacks do not easily extend to finding such robust physical perturbation attacks. Thus, we propose GRAPHITE, the first algorithm for hard-label physical attacks on computer vision models. We show that survivability, an estimate of physical variation robustness, can be used in new ways to generate small masks and is a sufficiently smooth function to optimize with gradient-free optimization. We use GRAPHITE to attack a traffic sign classifier and a publicly-available Automatic License Plate Recognition (ALPR) tool using only query access. We evaluate both tools in real-world field tests to measure its physical-world robustness. We successfully cause a Stop sign to be misclassified as a Speed Limit 30 km/hr sign in 95.7% of physical images and cause errors in 75% of physical images for the ALPR tool.

연구 동기 및 목표

• 단일 상위 클래스 레이블만 접근 가능한 하드 레이블, 블랙박스 환경에서 물리적으로 강건한 작고 효과적인 변형을 생성하는 데 도전하는 것.
• 조명, 각도, 거리와 같은 환경 변화에 견딜 수 있는 효과적인 물리적 스티커를 개발하는 것.
• 기존의 ℓ₂ 또는 ℓ∞ 기반 하드 레이블 공격가 물리 세계 내구성으로 일반화하지 못하는 한계를 극복하는 것.
• 실제로 배포된 시각 시스템, 예를 들어 교통 표지 분류기 및 ALPR 도구에 대한 물리적 공격의 실제 효과를 평가하는 것.

제안 방법

• 신체적 내구성의 매끄럽고 미분 가능한 대체 지표로 생존도를 도입하여 이산적인 하드 레이블 공간 내에서 최적화를 가능하게 하는 것.
• 환경 변화 하에서 오분류를 극대화하는 작고 효과적인 스티커 형태와 노이즈 패턴을 기울기 없는 최적화를 통해 탐색하는 것.
• 모델 아키텍처나 기울기 정보 없이도 쿼리 접근 권한을 활용해 반복적으로 스티커 설계를 정밀하게 조정하는 것.
• 다양한 물리적 조건에서 오분류를 유도할 수 있도록 최적화된 작고 이산적인 마스크를 설계하는 것.
• 실제 배포를 위해 다양한 환경 조건에서 교통 표지판과 번호판에 스티커를 테스트하는 것.

실험 결과

연구 질문

• RQ1 생존도는 하드 레이블 공격 최적화에서 물리적 내구성의 매끄럽고 미분 가능한 대체 지표로 사용될 수 있는가?
• RQ2 기울기 없는 최적화는 실제 세계에서 딥러닝 모델을 오도하는 작고 강건한 물리적 스티커를 효과적으로 생성할 수 있는가?
• RQ3 실제 세계의 시각 시스템, 예를 들어 교통 표지 분류기 및 ALPR 도구에 대한 하드 레이블 물리적 공격은 얼마나 효과적인가?
• RQ4 환경 변화 하에서 이러한 공격의 실제 세계 성공률은 얼마인가?

주요 결과

• GRAPHITE는 실제 환경의 물리적 이미지 95.7%에서 정지 표지판을 30km/h 표지판으로 오분류하는 데 성공했다.
• 공개된 자동 번호판 인식(automatic license plate recognition, ALPR) 도구에 대해 테스트한 결과, 물리적 이미지의 75%에서 오류를 유도했다.
• 생존도는 하드 레이블 이산 공간 내에서 효과적인 기울기 없는 최적화를 가능하게 하기 위해 충분히 매끄러운 함수로 입증되었다.
• 실제 배포에서 조명, 각도, 거리와 같은 환경 변화에 대한 강건성을 보였다.
• 기존의 ℓ₂ 및 ℓ∞ 기반 하드 레이블 공격는 물리적으로 강건한 변형을 생성하는 데 부적합한 것으로 밝혀져, 새로운 최적화 전략의 필요성을 강조했다.