[논문 리뷰] Adversarial camera stickers: A physical camera-based attack on deep learning systems

Juncheng Li, Frank R. Schmidt외 1명|arXiv (Cornell University)|2019. 03. 21.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 61

한 줄 요약

논문은 카메라 렌즈에 정교하게 설계된 스티커를 부착해 보편적이고 목표 지향적인 오분류를 만들어내는 물리적 적대 공격을 제시하며, ImageNet 및 실제 카메라 설정에서 입증한다.

ABSTRACT

Recent work has documented the susceptibility of deep learning systems to adversarial examples, but most such attacks directly manipulate the digital input to a classifier. Although a smaller line of work considers physical adversarial attacks, in all cases these involve manipulating the object of interest, e.g., putting a physical sticker on an object to misclassify it, or manufacturing an object specifically intended to be misclassified. In this work, we consider an alternative question: is it possible to fool deep classifiers, over all perceived objects of a certain type, by physically manipulating the camera itself? We show that by placing a carefully crafted and mainly-translucent sticker over the lens of a camera, one can create universal perturbations of the observed images that are inconspicuous, yet misclassify target objects as a different (targeted) class. To accomplish this, we propose an iterative procedure for both updating the attack perturbation (to make it adversarial for a given classifier), and the threat model itself (to ensure it is physically realizable). For example, we show that we can achieve physically-realizable attacks that fool ImageNet classifiers in a targeted fashion 49.6% of the time. This presents a new class of physically-realizable threat models to consider in the context of adversarially robust machine learning. Our demo video can be viewed at: https://youtu.be/wUVmL33Fx54

연구 동기 및 목표

• 카메라와 장면 사이의 광학 경로를 공격하는 물리적으로 실현 가능한 위협 모델을 동기 부여하고 형식화한다.
• 객체를 손상시키지 않고 관찰된 객체의 광범위한 집합을 오분류시킬 수 있는 보편적이고 카메라 수준의 섭동을 개발한다.
• 눈에 띄지 않고 인쇄에 친화적인 스티커를 생성하기 위해 섭동과 물리적 실현 가능 제약을 공동으로 최적화한다.
• 디지털 시뮬레이션(ImageNet)과 카메라 렌즈에 인쇄된 스티커를 이용한 실제 실험에서 공격을 평가한다.

제안 방법

• 알파 혼합 도트로 렌즈 스티커의 반투명 효과를 시뮬레이션하는 섭동 모델을 구성한다: pi0(x;θ) with parameters (color γ, center (i^(c), j^(c)), radius r, max alpha αmax, dropoff β).
• K개의 도트를 모아 보편적 섭동 π(x;θ) = π0(•;θK) ◦ … ◦ π0(x;θ1) 를 생성한다.
• 도트의 반영 가능한 물리적 제약에 맞게 섭동 모델을 맞추기 위해 도트가 포함/제외된 짝지은 이미지를 수집하고 구조적 유사도(SSIM)를 최적화하여 관찰된 섭동을 재현한다.
• 제조 가능 한 실용적 제약으로 섭동을 제한한다: 최대 10 도트, 고정 αmax, β, r, 그리고 이산 색상 집합 Γ; 최적화는 도트 중심과 색상을 선택한다.
• 단일 클래스 y⋆에 대해 목표한 클래스로 오분류를 유도하기 위해 손실 차이를 최대화하여 타깃 보편 공격을 수행한다: E[ℓ(f(π(x)), y⋆) − ℓ(f(π(x)), ytarget)].
• 도트 위치와 색상에 대한 그리디 좌표 감소법(좌표별 최적화)과 후속 그래디언트 기반 미세 조정을 사용하여 적대 스티커를 구성한다.

실험 결과

연구 질문

• RQ1 적대적 섭동이 객체를 수정하는 대신 카메라 광학을 수정함으로써 물리적으로 실현될 수 있는가?
• RQ2 이미지와 각도에 고정된 보편적 섭동을 만들어 카메라 스티커를 통해 적용될 때 목표 지향적 오분류를 유도할 수 있는가?
• RQ3 물리적 실현 가능 제약(도트 크기, 불투명도, 색상 집합)이 실제 세계 및 디지털 데이터셋에서 공격 효과에 어떤 영향을 미치는가?
• RQ4 다양한 목표 클래스에 걸친 ImageNet 및 실제 카메라 영상에서 이러한 카메라 기반 섭동의 실험적 속임수 비율은 어느 정도인가?

주요 결과

예측	클래스	공격	정확도	대상	기타
Keyboard →	No	85%	0%	15%
Mouse	Yes	48%	36%	16%
Street sign →	No	64%	0%	36%
Guitar Pick	Yes	32%	34%	34%
Street sign →	No	64%	0%	36%
50 classes	Yes	18%	33%	49%
50 Classes →	No	74%	0%	26%
50 classes	Yes	42%	31%	27%

• 물리적으로 실현 가능하고 보편적인 카메라 섭동은 실제 세계의 비디오에서 목표 객체를 선택된 대상 클래스로 오분류시킬 수 있다(5개 클래스/대상 조합에서 평균 타깃 속임수 비율 52%).
• 실제 영상에서 공격은 타깃 케이스의 분류 정확도를 약 27%까지 낮추고 상당한 타깃 지향적 오분류 비율을 보여준다.
• 디지털(ImageNet) 실험에서 6도트 섭동은 클래스/타깃 및 도트 수에 따라 약 18–49.6%의 다양한 타깃 속임수 비율을 달성하며, 도트 수가 증가하면 타깃 속임수 비율이 상승한다.
• 카메라에 하나의 작은 스티커를 부착해도 서로 다른 시야 각도와 물체 스케일에서 일관된 오분류를 유발할 수 있어 대 adversarial 로버스트니스에 대한 새로운 물리적 위협 모델을 제시한다.
• 인쇄된 도트를 사용하면 섭동 공간이 저주파수의 눈에 잘 띄지 않는 패턴으로 제약되더라도 의미 있는 공격 비율을 달성한다.
• 본 연구는 카메라 기반 적대 공격의 첫 실제 시연을 보여주며 ML 시스템에 대한 물리적 위협 고려의 중요성을 강조한다.