[논문 리뷰] Attacking Vision-based Perception in End-to-End Autonomous Driving Models

Adith Boloor, Karthik Garimella외 4명|arXiv (Cornell University)|2019. 10. 02.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 9

한 줄 요약

이 논문은 도로에 그린 검은 선을 이용해 엔드 투 엔드 자율주행 모델에 물리적으로 실현 가능한 대비 공격을 생성하는 체계적인 프레임워크를 제시한다. 베이지안 최적화와 새로운 목적 함수를 활용하여, 간단하고 의심스럽지 않은 도로 표시가 오른쪽 회전 중 특히 심각한 물리적 영향을 미칠 수 있음을 입증한다. 이는 차선 이탈 및 충돌을 유도하며, 공격자가 선택한 경로로 차량을 유도하는 히잡킹 공격까지 가능하게 한다.

ABSTRACT

Recent advances in machine learning, especially techniques such as deep neural networks, are enabling a range of emerging applications. One such example is autonomous driving, which often relies on deep learning for perception. However, deep learning-based perception has been shown to be vulnerable to a host of subtle adversarial manipulations of images. Nevertheless, the vast majority of such demonstrations focus on perception that is disembodied from end-to-end control. We present novel end-to-end attacks on autonomous driving in simulation, using simple physically realizable attacks: the painting of black lines on the road. These attacks target deep neural network models for end-to-end autonomous driving control. A systematic investigation shows that such attacks are easy to engineer, and we describe scenarios (e.g., right turns) in which they are highly effective. We define several objective functions that quantify the success of an attack and develop techniques based on Bayesian Optimization to efficiently traverse the search space of higher dimensional attacks. Additionally, we define a novel class of hijacking attacks, where painted lines on the road cause the driver-less car to follow a target path. Through the use of network deconvolution, we provide insights into the successful attacks, which appear to work by mimicking activations of entirely different scenarios. Our code is available at https://github.com/xz-group/AdverseDrive

연구 동기 및 목표

• 엔드 투 엔드 딥 러닝 기반 자율주행 시스템이 물리적으로 실현 가능하고 간단하며 의심스럽지 않은 환경적 조작에 얼마나 취약한지 조사하기 위해.
• 고립된 대비 예제와 실세계에서의 물리적 결과 사이의 격차를 닫기 위해, 폐쇄형 자율 제어 시스템에서의 실제 영향을 분석하기 위해.
• 물리적 실패 결과(예: 충돌, 차선 이탈)를 최대화하는 높은 영향력의 대비 공격을 생성하기 위한 효율적인 최적화 전략을 개발하기 위해.
• 그린 선이 실제 주행 경로와 다를 수 있는 공격자가 선택한 경로로 차량을 유도하는 새로운 유형의 히잡킹 공격을 탐색하고 구현하기 위해.
• 신경망 복원 분석(DeConvNet)을 통해 공격이 성공하는 이유를 해석하고, 신경 활성화 공간에서 주목할 만한 특징을 시각화하기 위해.

제안 방법

• 저자들은 제어된 물리적 편향이 가해진 상황에서 엔드 투 엔드 모델을 평가하기 위해 CARLA 자율주행 시뮬레이터를 사용한다.
• 공격 성공도를 정량화하기 위해, 차선 이탈, 충돌 사건, 의도한 경로에서의 경로 이탈 등을 포함한 다수의 목적 함수를 정의한다.
• 공격 효과를 극대화하기 위해, 그린 선의 패턴(예: 위치, 길이, 방향)이 포함된 고차원 공간을 효율적으로 탐색하기 위해 베이지안 최적화를 활용한다.
• 차량을 목표 경로로 유도하는 새로운 유형의 '히잡킹' 공격을 도입하며, 이는 올바른 주행 행동과 모순되더라도 가능하다.
• 신경망의 다섯 번째 합성곱 레이어에서 가장 높은 반응을 유도하는 입력 특징(예: 그린 선)을 시각화하기 위해 네트워크 복원(DeConvNet)을 적용한다. 이는 공격이 실제로 도로의 가장자리나 장벽처럼 보이게 하는 방식으로 작동함을 보여준다.
• 이 방법은 정체성이 명확하지 않은 단일 또는 다중 선 패턴에 초점을 맞추며, 예를 들어 스며든 자국이나 공사 표시처럼 보이게 하여 물리적으로 실현 가능하고 탐지하기 어려운 특징을 구현한다.

실험 결과

연구 질문

• RQ1 간단하고 물리적으로 실현 가능한 도로 표시, 예를 들어 그린 검은 선이 엔드 투 엔드 자율주행 모델에서 심각한 물리적 실패를 유도할 수 있는가?
• RQ2 오른쪽 회전, 왼쪽 회전, 직진 주행 등의 다양한 주행 시나리오에서 이러한 공격의 효과는 어떻게 달라지는가?
• RQ3 베이지안 최적화가 고차원의 공격 공간에서 높은 영향력의 대비 패턴을 효율적으로 생성할 수 있는가?
• RQ4 그린 선을 얼마나 활용해 공격자가 선택한 경로로 차량의 행동을 유도할 수 있는가?
• RQ5 어떤 내부 신경 활성화가 특정 그린 패턴이 잘못 분류를 유도하는 이유를 설명하는가? 그리고 이러한 패턴은 실제로 도로의 가장자리나 장벽과 어떻게 유사하게 보이는가?

주요 결과

• 오른쪽 회전 시나리오가 가장 취약하며, 그린 검은 선이 차량이 왼쪽으로 꺾히고 충돌하게 만들 수 있다. 이는 선이 정체성이 명확하지 않더라도 가능하다.
• 오른쪽 회전 시나리오에서 공격 성공률이 직진 주행보다 뚜렷하게 높으며, 이는 직진 주행가지 이러한 편향에 대해 비교적 강건함을 의미한다.
• 잘 설계된 목적 함수와 함께 베이지안 최적화를 사용하여, 저자들은 시뮬레이션에서 차선 이탈 및 충돌을 유도하는 대비 패턴을 성공적으로 생성하였다.
• 네트워크 복원 분석을 통해, 모델이 그린 선을 실제 장벽이나 가장자리로 오해하여 오른쪽 회전 중 갑작스럽게 왼쪽으로 꺾는 잘못된 조향 결정을 내리는 것으로 확인되었다.
• 히잡킹 공격은 차량이 정상 경로와 다른 목표 경로로 유도되는 데 성공하여, 높은 영향력의 새로운 대비 위협 유형임을 입증하였다.
• 시각화 결과는 네트워크에서 가장 활성화된 특징이 실제 도로 표시가 아니라 그린 대비 선임을 확인하였으며, 이는 모델이 패턴의 공간적 구성에 의해 속임을 당하고 있음을 시사한다.