[논문 리뷰] Simple Physical Adversarial Examples against End-to-End Autonomous Driving Models

Adith Boloor, Xin He외 3명|arXiv (Cornell University)|2019. 03. 12.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 15

한 줄 요약

이 논문은 단순하고 물리적으로 실현 가능한 적대적 예제—특히 도로에 그린 검은 선—가 자율주행 시뮬레이션에서 엔드 투 엔드 딥 러닝 모델을 성공적으로 속일 수 있음을 보여준다. 모델이 그 선을 물리적 장벽으로 잘못 해석함으로써 우회 전복을 유도하며, 특히 오른쪽 턴 시 위험한 조향 오차를 발생시킨다. 탈구성 분석을 통해 모델이 선을 실제로 골목처럼 보이는 장애물로 인식하여 활성화된 것으로 확인된다.

ABSTRACT

Recent advances in machine learning, especially techniques such as deep neural networks, are promoting a range of high-stakes applications, including autonomous driving, which often relies on deep learning for perception. While deep learning for perception has been shown to be vulnerable to a host of subtle adversarial manipulations of images, end-to-end demonstrations of successful attacks, which manipulate the physical environment and result in physical consequences, are scarce. Moreover, attacks typically involve carefully constructed adversarial examples at the level of pixels. We demonstrate the first end-to-end attacks on autonomous driving in simulation, using simple physically realizable attacks: the painting of black lines on the road. These attacks target deep neural network models for end-to-end autonomous driving control. A systematic investigation shows that such attacks are surprisingly easy to engineer, and we describe scenarios (e.g., right turns) in which they are highly effective, and others that are less vulnerable (e.g., driving straight). Further, we use network deconvolution to demonstrate that the attacks succeed by inducing activation patterns similar to entirely different scenarios used in training.

연구 동기 및 목표

• 단순하고 현실 세계에서 구현 가능한 조작을 통해 엔드 투 엔드 자율주행 모델에 대해 물리적 적대적 공격의 가능성을 탐구하는 것.
• 그림자 또는 흰색 선과 같은 낮은 복잡도의 물리적 공격—예를 들어 도로에 그린 선—가 실제로 차선 이탈이나 사고와 같은 물리적 결과를 초래할 수 있는지 평가하는 것.
• 이러한 공격이 성공하는 근본 원리를 분석하는 것—특히 도로에 그린 선을 물리적 장벽으로 잘못 분류하는 방식.
• 심지어 강건한 엔드 투 엔드 모델이라도 미세하고 의미적으로 두드러지지 않는 물리적 흐름에 취약하다는 것을 보여주는 것.
• 탈구성 시각화를 활용해 이러한 공격을 체계적으로 생성하고 분석하는 프레임워크를 제공하는 것.

제안 방법

• 저자는 이mit레이션 러닝을 통해 훈련된 엔드 투 엔드 딥 러닝 기반 자율주행 제어기의 성능을 시뮬레이션 환경에서 테스트한다.
• 실제 도로의 흠집이나 타이어 자국과 유사하게, 도로에 단일 또는 이중 검은 선을 그려 물리적 적대적 예제를 생성한다.
• 공격 성공 여부는 조향 각도의 편차와 차선 이탈 또는 충돌과 같은 물리적 결과를 관찰하여 측정한다.
• 신경망의 고수준 특징을 활성화하는 입력 픽셀을 시각화하기 위해 네트워크의 탈구성(DeConvNet)을 적용한다. 특히 다섯 번째 합성곱층을 중심으로 분석한다.
• 탈구성 과정은 배치 정규화, 역전치 합성곱, ReLU 연산을 반전시켜 특징 맵에서 중요한 입력 특징을 재구성한다.
• 사례 연구를 통해 기준 주행 행동(예: 오른쪽 터닝)과 적대적 조건을 비교하여, 예를 들어 그림자 선을 실제로 골목처럼 오해하는 오분류 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 단순하고 물리적으로 실현 가능한 적대적 패턴—예를 들어 도로에 그린 검은 선—이 엔드 투 엔드 자율주행 모델이 위험한 운전 결정을 내리게 할 수 있는가?
• RQ2 어떤 운전 시나리오가 이러한 물리적 적대적 공격에 가장 취약한가, 그리고 그 이유는 무엇인가?
• RQ3 그림자 선 같은 적대적 패턴이 모델에서 오분류를 유도하는 방식은 무엇이며, 어떤 시각적 특징을 활성화하는가?
• RQ4 이러한 공격가 모델의 도로 기하학적 인식에서 구조적 약점을 얼마나 잘 악용하는가?
• RQ5 탈구성 기법을 통해 물리적 적대적 예제로 인한 모델 실패의 내부적 추론을 드러낼 수 있는가?

주요 결과

• 오른쪽 터닝 시나리오가 가장 취약하며, 이중 검은 선이 모델이 갑작스럽게 왼쪽으로 조향하게 하여 차선 이탈이나 충돌을 유발한다.
• 모델은 도로에 그린 검은 선을 실제 장벽—예를 들어 골목처럼—으로 잘못 인식하여 예상치 못한 방향 전환을 유도한다.
• 탈구성 시각화 결과, 네트워크에서 가장 활성화된 특징은 실제 도로 표시가 아니라 그림자 적대적 선임을 확인할 수 있다.
• 이 공격는 정상 조건에서 안정적으로 작동하는 모델에도 효과적이며, 인식에서 제어로의 맵핑에 근본적인 취약성이 있음을 시사한다.
• 공격 성공의 원인은 특정 시각적 패턴(예: 선)을 고수준 의미적 개념인 장벽으로 연결하는 모델의 학습 방식에 기인하며, 이는 패턴이 의미적으로 무시할 수 있는 경우에도 해당한다.
• 이 연구는 간단하고 저비용의 물리적 조작이 인간 수준의 직관을 우회하고 엔드 투 엔드 자율 시스템에 치명적인 실패를 유도할 수 있음을 입증한다.