[논문 리뷰] Shadows can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Natural Phenomenon

Yiqi Zhong, Xianming Liu외 3명|arXiv (Cornell University)|2022. 03. 08.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 인공 광학 패턴 대신 자연적인 그림자를 사용하여 새로운 스타일의 도드라진 물리세계 공격을 제안한다. 입자군집최적화를 통해 그림자 형태와 위치를 최적화함으로써, 블랙박스 설정에서 LISA에서 98.23%의 성공률과 GTSRB에서 90.47%의 성공률를 달성하였으며, 실제 실험에서 움직이는 카메라를 95% 이상의 비율로 속이는 데 성공하였다.

ABSTRACT

Estimating the risk level of adversarial examples is essential for safely deploying machine learning models in the real world. One popular approach for physical-world attacks is to adopt the "sticker-pasting" strategy, which however suffers from some limitations, including difficulties in access to the target or printing by valid colors. A new type of non-invasive attacks emerged recently, which attempt to cast perturbation onto the target by optics based tools, such as laser beam and projector. However, the added optical patterns are artificial but not natural. Thus, they are still conspicuous and attention-grabbed, and can be easily noticed by humans. In this paper, we study a new type of optical adversarial examples, in which the perturbations are generated by a very common natural phenomenon, shadow, to achieve naturalistic and stealthy physical-world adversarial attack under the black-box setting. We extensively evaluate the effectiveness of this new attack on both simulated and real-world environments. Experimental results on traffic sign recognition demonstrate that our algorithm can generate adversarial examples effectively, reaching 98.23% and 90.47% success rates on LISA and GTSRB test sets respectively, while continuously misleading a moving camera over 95% of the time in real-world scenarios. We also offer discussions about the limitations and the defense mechanism of this attack.

연구 동기 및 목표

• 인공 광학 패턴 대신 자연 현상에 기반한 비침습적이고 물리적으로 실현 가능한 공격을 개발하는 것.
• 스티커 부착 및 인공 조명 기반 공격의 한계를 보완하기 위해, 더 자연스럽고 눈에 띄지 않는 그림자를 교란 요소로 사용하는 것.
• 블랙박스 설정 하에서 시뮬레이션 및 실제 환경에서 그림자 기반 공격의 효과성을 평가하는 것.
• 움직이는 카메라를 갖춘 실시간 교통 표지 인식 시스템에 대한 그림자 기반 공격의 가능성과 강건성을 조사하는 것.
• 특히 랜덤화된 그림자 증강을 통한 적대적 훈련을 통해 모델의 내성을 향상시키는 방어 기법을 탐색하는 것.

제안 방법

• 목표 모델을 최대한 오도할 수 있도록 그림자 형태와 위치를 최적화하는 최적화 문제로 그림자 기반 공격를 수립하는 것.
• 공격 성공률를 극대화하기 위해 입자군집최적화(PSO)를 사용하여 최적의 그림자 구성(다각형 꼭짓점 및 강도 계수 k)을 탐색하는 것.
• 다양한 조명 조건에서 그림자가 대상 물체에 미치는 영향을 시뮬레이션하기 위해 미분 가능 렲영 파이프라인을 구현하는 것.
• 성능과 계산 비용의 균형을 맞추기 위해 n=5로 설정된 다중 재시작 전략(n-restarts)을 적용하는 것.
• 공격에 대한 모델 강건성을 향상시키기 위해 적대적 훈련 중에 랜덤화된 그림자 증강 기법을 활용하는 것.
• 디지털(시뮬레이션된) 및 물리적(실제 환경) 설정 모두에서 공격를 검증하며, 움직이는 카메라가 포함된 동적 시나리오를 포함하는 것.

Figure 1 : Comparison of our simulated shadows and real-world shadows on traffic signs from LISA [ 21 ] and GTSRB [ 26 ] datasets.

실험 결과

연구 질문

• RQ1 인공 광학 장치에 의존하지 않고 자연 그림자를 물리세계 공격의 적대적 교란 요소로 효과적으로 활용할 수 있는가?
• RQ2 움직이는 카메라가 포함된 실생활 교통 표지 인식 시나리오에서 그림자 기반 공격의 효과는 어떠한가?
• RQ3 물리적으로 실현 가능하고 도드라진 그림자 교란 요소를 생성하기 위해 필요한 최적화 전략은 무엇인가?
• RQ4 다양한 조명 조건과 그림자 구성에서 공격 성능는 어떻게 변하는가?
• RQ5 랜덤화된 그림자 증강을 통한 적대적 훈련은 그림자 기반 공격에 대한 모델의 강건성을 향상시킬 수 있는가?

주요 결과

• 제안된 그림자 기반 공격는 블랙박스 설정에서 LISA 데이터셋에서 98.23%의 성공률, GTSRB 데이터셋에서 90.47%의 성공률를 기록하였다.
• 움직이는 카메라가 포함된 실생활 동적 시나리오에서 공격는 모델을 95% 이상의 비율로 오도하는 데 성공하였다.
• 삼각형을 그림자 형태로 사용할 경우 최소한의 계산 비용으로 효과적인 결과를 얻을 수 있었으며, 더 복잡한 다각형보다 뛰어난 성능을 보였다.
• n=5로 설정된 n-restart 전략은 성공률와 계산 오버헤드 사이에 우수한 균형을 이룩하였으며, n>5를 초과할 경우 성능 향상 폭이 미미하였다.
• 랜덤화된 그림자 증강을 통한 적대적 훈련은 모델의 강건성을 향상시켰으며, LISA-CNN에서 공격 실패율을 1.73%에서 40.93%로 높였다.
• 불량한 조명 조건(큰 k 값)에서는 그림자가 너무 흐리게 형성되어 의미 있는 교란을 일으키지 못해 공격가 비효율적이며, 이는 환경적 제약 조건을 시사한다.

Figure 2 : The distribution of coefficient $k$ .