[논문 리뷰] An Analysis of Adversarial Attacks and Defenses on Autonomous Driving Models

Yao Deng, Xi Zheng외 4명|arXiv (Cornell University)|2020. 02. 06.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 13

한 줄 요약

이 논문은 CNN 기반 자율주행 회귀 모델이 다섯 가지 적대적 공격과 네 가지 방어 기법에 대해 어떻게 취약한지 분석한다. 이 모델들은 화이트박스 공격에 매우 취약하며(성공률 98%), 블랙박스 공격은 훨씬 덜 효과적이다(성공률 4%). 또한 단일 방어 기법으로는 모든 공격을 완전히 방어할 수 없으며, 실질적인 시스템에서는 다층 방어 전략이 필요하다는 것을 확인한다.

ABSTRACT

Nowadays, autonomous driving has attracted much attention from both industry and academia. Convolutional neural network (CNN) is a key component in autonomous driving, which is also increasingly adopted in pervasive computing such as smartphones, wearable devices, and IoT networks. Prior work shows CNN-based classification models are vulnerable to adversarial attacks. However, it is uncertain to what extent regression models such as driving models are vulnerable to adversarial attacks, the effectiveness of existing defense techniques, and the defense implications for system and middleware builders. This paper presents an in-depth analysis of five adversarial attacks and four defense methods on three driving models. Experiments show that, similar to classification models, these models are still highly vulnerable to adversarial attacks. This poses a big security threat to autonomous driving and thus should be taken into account in practice. While these defense methods can effectively defend against different attacks, none of them are able to provide adequate protection against all five attacks. We derive several implications for system and middleware builders: (1) when adding a defense component against adversarial attacks, it is important to deploy multiple defense methods in tandem to achieve a good coverage of various attacks, (2) a blackbox attack is much less effective compared with a white-box attack, implying that it is important to keep model details (e.g., model architecture, hyperparameters) confidential via model obfuscation, and (3) driving models with a complex architecture are preferred if computing resources permit as they are more resilient to adversarial attacks than simple models.

연구 동기 및 목표

• 자율주행에서 사용되는 CNN 기반 회귀 모델에 대해 다섯 가지 적대적 공격 방법의 효과성을 평가하기 위해.
• 이러한 공격에 대비한 네 가지 방어 기법의 성능을 평가하고, 그 커버리지와 한계를 파악하기 위해.
• 모델 보안 및 방어 기법 배치에 있어 시스템 및 미들웨어 설계자들에게 실용적인 함의를 도출하기 위해.
• 다른 주행 모델 간 적대적 예제의 이동성과 모델 기밀성의 영향을 조사하기 위해.

제안 방법

• 회귀 기반 주행 모델에 적합하게 조정된 다섯 가지 적대적 공격 방법—IT-FGSM, Opt, Opt_uni, AdvGAN, AdvGAN_uni—를 복제하였다.
• 네 가지 방어 기법을 구현: 적대적 훈련, 방어적 딜리게이션, 하드웨어 이상 탐지(GPU 사용률/활용도), 및 피처 스queeze.
• 화이트박스 및 블랙박스 공격 설정에서 Udacity 데이터셋을 사용해 세 개의 CNN 기반 주행 모델에 대해 체계적인 실험을 수행하였다.
• 다양한 공격 유형과 모델 아키텍처에서 공격 성공률 및 방어 기법의 재현율/정밀도를 측정하였다.
• 공격의 이동성을 줄이기 위한 방법으로 모델 오브스큐레이션과 기밀 보호를 평가하였다.
• 재현 가능성을 높이고 향후 연구를 지원하기 위해 코드, 모델, 데이터셋을 공개하였다.

실험 결과

연구 질문

• RQ1 CNN 기반 주행 회귀 모델은 화이트박스 및 블랙박스 설정에서 얼마나 적대적 공격에 취약한가?
• RQ2 기존의 방어 기법은 자율주행 모델에 대한 다양한 적대적 공격에 대해 얼마나 효과적인가?
• RQ3 다른 주행 모델 간 적대적 예제의 이동성은 어떠한가? 그리고 모델 기밀성이 공격 성공률에 어떤 영향을 미치는가?
• RQ4 모델 아키텍처의 복잡성과 시스템 수준의 설계 선택이 적대적 공격에 대한 저항력에 어떤 영향을 미치는가?

주요 결과

• 모든 테스트된 주행 모델은 화이트박스 설정에서 적대적 공격에 매우 취약하며, 다섯 공격 중 네 가지(비교적 IT-FGSM 제외) 평균 성공률이 98%에 이른다(비교적 IT-FGSM의 성공률는 36%).
• 블랙박스 공격은 평균 4%의 성공률에 머물러 있어, 모델 기밀성이 공격 효과성에 상당한 영향을 미친다는 것을 시사한다.
• 단일 방어 기법으로는 다섯 가지 공격 유형을 완전히 보호할 수 없으며, 피처 스queeze는 가장 넓은 탐지 커버리지(재현율 78%)를 제공하지만, 높은 거짓 경고 비율(최대 40%)을 보인다.
• 적대적 훈련과 방어적 딜리게이션은 IT-FGSM 및 최적화 기반 공격에 대해서만 효과적이며, 하드웨어 이상 탐지는 이 두 가지 공격을 탐지하고 AdvGAN의 일부를 탐지한다.
• 복잡한 아키텍처를 가진 주행 모델은 단순한 모델보다 적대적 공격에 더 강건한 것으로 나타나, 아키텍처의 복잡성이 저항력을 향상시킬 수 있음을 시사한다.
• 한 주행 모델에서 다른 주행 모델로 적대적 예제의 이동성은 낮은 편이며, 분류 모델에서의 연구 결과와는 정반대이다. 이는 회귀 모델의 행동에 근본적인 차이가 있음을 시사한다.