[논문 리뷰] Adversarial Driving: Attacking End-to-End Autonomous Driving Systems.

Han Wu, Wenjie Ruan|arXiv (Cornell University)|2021. 03. 16.

Adversarial Robustness in Machine Learning참고 문헌 9인용 수 6

한 줄 요약

이 논문은 입력 이미지에 미세한 노이즈를 가해 조향 예측을 조작하는 실시간, 화이트박스 타겟 공격 두 가지를 제안한다. 이 공격들은 GPU가 없이도 CPU에서 성공적으로 작동하여, 안전 기반의 회귀 기반 주행 시스템에서 심각한 취약점을 드러낸다.

ABSTRACT

As the research in deep neural networks advances, deep convolutional networks become feasible for automated driving tasks. There is an emerging trend of employing end-to-end models in the automation of driving tasks. However, previous research unveils that deep neural networks are vulnerable to adversarial attacks in classification tasks. While for regression tasks such as autonomous driving, the effect of these attacks remains rarely explored. In this research, we devise two white-box targeted attacks against end-to-end autonomous driving systems. The driving model takes an image as input and outputs the steering angle. Our attacks can manipulate the behaviour of the autonomous driving system only by perturbing the input image. Both attacks can be initiated in real-time on CPUs without employing GPUs. This demo aims to raise concerns over applications of end-to-end models in safety-critical systems.

연구 동기 및 목표

• 엔드 투 엔드 딥 러닝 모델이 적대적 공격에 취약한지 조사하기 위해.
• 조향 각도 예측과 같은 회귀 기반 작업에서의 적대적 강건성 이해 부족을 보완하기 위해.
• 최소한의 입력 노이즈를 통해 주행 행동을 조작하는 실시간, 화이트박스 공격을 개발하기 위해.
• 이러한 공격이 특수 하드웨어 없이도 실현 가능하며, 생산 시스템의 안전성에 대한 우려를 제기하기 위해.

제안 방법

• 공격는 조향 각도 예측 모델의 회귀 출력을 대상으로 하는 타겟 공격으로 설계된다.
• 예측된 조향 각도와 목표 조향 각도 간의 차이를 최소화하는 미분 가능한 손실 함수를 사용해 노이즈를 최적화한다.
• 공격는 입력 이미지 픽셀을 대상으로 한 최적화 문제로 설정되어, 적대적 예제를 생성한다.
• 효율적인 최적화와 기울기 계산을 활용하여 CPU에서 실시간으로 작동한다.
• 공격는 실제 카메라 이미지에 직접 적용되어 실제 주행 환경을 시뮬레이션한다.
• 모델의 내부 아키텍처에 대한 접근이 기울기 정보를 초과하지 않는 한 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 타겟 공격이 엔드 투 엔드 자율주행 모델의 조향 각도 예측을 성공적으로 조작할 수 있는가?
• RQ2 GPU 가속 없이도 이러한 공격가 실시간으로 효과적으로 작동하는가?
• RQ3 작고 눈에 띄지 않는 이미지 노이즈가 회귀 기반 주행 시스템의 행동을 어느 정도 변화시킬 수 있는가?
• RQ4 이러한 공격는 최소한의 계산 부하로 실제 배포 환경에서 실현 가능한가?

주요 결과

• 제안된 공격는 높은 성공률로 목표 조향 각도를 출력하도록 하는 적대적 예제를 성공적으로 생성한다.
• 공격는 특수 하드웨어 없이도 CPU에서 실시간으로 실행 가능함을 입증하여 실현 가능성을 보여준다.
• 노이즈는 작고 눈에 띄지 않으며, 시각적 현실성을 유지하면서도 상당한 행동 변화를 유도한다.
• 공격는 엔드 투 엔드 주행 모델이 입력 수준의 노이즈 조작을 통해 타겟 조작에 취약하다는 것을 보여준다.
• 결과는 엔드 투 엔드 딥 러닝에 의존하는 안전 기반 시스템에서 심각한 보안 격차가 존재함을 강조한다.