[논문 리뷰] Adversarial Laser Beam: Effective Physical-World Attack to DNNs in a Blink

Ranjie Duan, Xiaofeng Mao외 5명|arXiv (Cornell University)|2021. 03. 11.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 18

한 줄 요약

이 논문은 실시간으로 딥 네URAL 네트워크(DNNs)를 속이는 데 사용할 수 있는 새로운 물리세계 공격인 악성 레이저 빔(AdvLB)을 제안한다. 레이저의 파장, 강도 등의 파arameter를 최적화함으로써 AdvLB는 디지털 환경에서 95.1%의 공격 성공률을 기록하고, 실외 물리 테스트에서는 77.43%의 성공률을 달성한다. 이는 레이저 빛 자체가 특히 조명 관련 클래스에 대해 잘못 분류를 유도하는 주요 특징으로 작용한다는 것을 드러낸다.

ABSTRACT

Though it is well known that the performance of deep neural networks (DNNs) degrades under certain light conditions, there exists no study on the threats of light beams emitted from some physical source as adversarial attacker on DNNs in a real-world scenario. In this work, we show by simply using a laser beam that DNNs are easily fooled. To this end, we propose a novel attack method called Adversarial Laser Beam ($AdvLB$), which enables manipulation of laser beam's physical parameters to perform adversarial attack. Experiments demonstrate the effectiveness of our proposed approach in both digital- and physical-settings. We further empirically analyze the evaluation results and reveal that the proposed laser beam attack may lead to some interesting prediction errors of the state-of-the-art DNNs. We envisage that the proposed $AdvLB$ method enriches the current family of adversarial attacks and builds the foundation for future robustness studies for light.

연구 동기 및 목표

• 레이저 빔이 DNNs의 효과적인 물리세계 적대적 편향으로 사용될 수 있는지 조사하기 위해.
• 제어 가능한 레이저 빔 파arameter를 활용해 실시간으로 고속 공격을 가능하게 하는 방법을 개발하기 위해.
• 디지털 및 물리 환경에서 레이저 기반 공격의 은밀함과 효과성을 평가하기 위해.
• 레이저 빔 간섭 하에서 DNN의 잘못된 분류 원인을 분석하기 위해.
• 모델의 강건성을 향상시키기 위해 무작위 레이저 빔 증강을 활용한 방어 전략을 제안하기 위해.

제안 방법

• 공격을 위해 레이저 빔을 제어 가능한 물리적 파arameter(파장, 강도, 위치)의 집합으로 설정하여 적대적 조작을 수행하기 위해.
• 블랙박스 환경에서 가장 효과적인 레이저 빔 구성 설정을 탐색하기 위해 탐욕적 최적화 방법을 설계하기 위해.
• 국소 최적값에서 벗어나 공격 성공률을 향상시키기 위해 k-랜덤리스타트 전략을 적용하기 위해.
• 레이저 빔이 삽입되었을 때 모델의 주의 집중 영역 변화를 시각화하기 위해 클래스 활성 맵(CAM)을 사용하기 위해.
• 무작위로 레이저 빔을 훈련 이미지에 삽입하여 데이터 증강을 통해 방어 구현하기 위해.
• SGD와 코즈인 애너일링 학습률을 사용해 무작위 레이저 빔 증강을 적용한 ResNet50을 훈련하여 일반화 능력을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 레이저 빔은 DNNs의 효과적인 물리세계 적대적 편향으로 사용될 수 있는가?
• RQ2 레이저 빔의 물리적 파arameter(예: 파장, 강도)는 DNN의 잘못된 분류에 어떤 영향을 미치는가?
• RQ3 레이저 빔이 유도하는 주요 시각적 단서는 무엇이며, 이는 잘못된 예측을 유도하는가?
• RQ4 훈련 중에 무작위 레이저 빔 증강을 적용하면 DNN의 이러한 공격에 대한 강건성이 향상되는가?
• RQ5 AdvLB의 공격 성능은 디지털, 실내, 실외 물리 환경 간에 어떻게 비교되는가?

주요 결과

• AdvLB는 ImageNet의 일부 데이터셋에서 디지털 환경에서 95.1%의 공격 성공률를 기록하였다.
• 실외 물리세계 테스트에서 AdvLB는 77.43%의 공격 성공률를 달성하여 실제 적용 가능성은 입증되었다.
• 특정 파장(예: 380 nm)을 가진 레이저 빔은 '蠡燭'(Candle) 클래스의 예측 확률을 0.19%에서 6.21%로 증가시켰다.
• 레이저 빔은 DNN을 오도시키는 주요 특징을 유도하며, 특히 'Volcano'와 'Candle'과 같은 조명 관련 클래스로 예측을 편향시킨다.
• 무작위 레이저 빔 증강을 통해 훈련한 방어 모델은 청소년 정확도를 0.21% 향상시키며, 공격 성공률를 95.1%에서 77.2%로 감소시켰다.
• CAM 시각화 결과는 이미지 모서리에 작은 레이저 빔이 존재하더라도 모델의 주의 집중 영역이 'Bubble'과 'Volcano'와 같은 잘못된 클래스로 이동할 수 있음을 확인했다.