[논문 리뷰] Dirty Road Can Attack: Security of Deep Learning based Automated Lane Centering under Physical-World Attack

Takami Sato, Junjie Shen외 4명|arXiv (Cornell University)|2020. 09. 14.

Adversarial Robustness in Machine Learning참고 문헌 77인용 수 24

한 줄 요약

이 논문은 실제 도로 패치를 교란 요소로 사용하여 딥러닝 기반 자동 차선 유지(Automated Lane Centering, ALC) 시스템을 대상으로 하는 새로운 물리 세계 적대적 공격인 DRP(Dirty Road Patch) 공격을 제안한다. 차량 운동 모델과 투시 변환, 그리고 미분 가능한 차선 굽힘 목적 함수를 결합함으로써, 공격은 0.9초 이내에 97.5% 이상의 성공률를 달성하며 인간의 반응 시간보다 빠르며, 시뮬레이션에서 안전 기능이 켜져 있더라도 100%의 충돌률을 유도한다.

ABSTRACT

Automated Lane Centering (ALC) systems are convenient and widely deployed today, but also highly security and safety critical. In this work, we are the first to systematically study the security of state-of-the-art deep learning based ALC systems in their designed operational domains under physical-world adversarial attacks. We formulate the problem with a safety-critical attack goal, and a novel and domain-specific attack vector: dirty road patches. To systematically generate the attack, we adopt an optimization-based approach and overcome domain-specific design challenges such as camera frame inter-dependencies due to attack-influenced vehicle control, and the lack of objective function design for lane detection models. We evaluate our attack on a production ALC using 80 scenarios from real-world driving traces. The results show that our attack is highly effective with over 97.5% success rates and less than 0.903 sec average success time, which is substantially lower than the average driver reaction time. This attack is also found (1) robust to various real-world factors such as lighting conditions and view angles, (2) general to different model designs, and (3) stealthy from the driver's view. To understand the safety impacts, we conduct experiments using software-in-the-loop simulation and attack trace injection in a real vehicle. The results show that our attack can cause a 100% collision rate in different scenarios, including when tested with common safety features such as automatic emergency braking. We also evaluate and discuss defenses.

연구 동기 및 목표

• 디자인된 운영 영역(즉, 차선 마킹이 있는 도로) 내에서 실재적인 조건 하에 물리 세계 적대적 공격이 최신 딥러닝 기반 자동 차선 유지(ALC) 시스템의 보안을 체계적으로 조사하는 것.
• 두 가지 핵심 과제를 해결하는 것: (1) 공격 영향을 받은 차량 제어로 인해 발생하는 카메라 프레임 간 상호의존성, (2) 차선 검출 모델을 위한 비가역적인 목적 함수 부족.
• 도로 패치를 도메인 특화된 공격 벡터로 설계하여 도청성, 현실성, 물리적 실현 가능성을 확보하는 것.
• 다양한 실제 환경 조건과 모델 아키텍처를 통해 공격의 효과성, 강건성, 일반화 능력을 평가하는 것.
• 소프트웨어 인 더 루프 시뮬레이션과 실제 차량에 대한 공격 주입을 통한 안전성 영향 평가 및 기존 방어 기법 평가

제안 방법

• 실제 도로의 손상이나 오염 패턴을 모방하여 도청성 있는 악성 도로 패치를 사용하는 새로운 공격 벡터인 DRP(Dirty Road Patch)를 제안한다.
• 차량 운동 모델과 투시 변환을 통합하여 공격 영향을 받은 차량 제어 하에서의 실시간 영상 업데이트를 동적으로 시뮬레이션하는 최적화 기반의 공격 생성 방법을 개발한다.
• 횡방향 제어 모듈의 비가역성 문제를 해결하기 위해 조향 각도 최적화를 대체하는, 가역적인 차선 굽힘 목적 함수를 도입한다.
• 조명, 시야각, 물리 세계 실현 가능성에 대한 강건성을 확보하기 위해 도메인 특화 설계를 적용하여 실용적 타당성을 확보한다.
• 실제 주행 트레이서(80개 시나리오, comma2k19)를 사용하여 OpenPilot(생산 수준의 ALC 시스템)에 대한 공격 평가를 수행한다.
• 다섯 가지 방식을 사용하여 방어 기법 평가: JPEG 압축, 비트 깊이 감소, 가우시안 노이즈, 중앙값 블러링, 그리고 실제 주행 데이터 기반으로 학습된 네 가지 아키텍처를 가진 오토에인코드르 재구성

실험 결과

연구 질문

• RQ1 실제 도로 패턴이 있는 도로에서 실재적인 조건 하에 물리 세계 적대적 공격가 딥러닝 기반 ALC 시스템을 성공적으로 악용할 수 있는가?
• RQ2 DRP 공격는 평균 인간 운전사의 반응 시간보다 빠르게 차선 이탈을 유도하는 데 얼마나 효과적인가?
• RQ3 조도 변화, 시야각, 카메라 움직임 등의 실제 세계의 변동성에 대해 DRP 공격는 어느 정도 강건한가?
• RQ4 다양한 ALC 모델 아키텍처와 실제 주행 시나리오 간에 DRP 공격는 얼마나 일반화 가능한가?
• RQ5 기존의 DNN 수준 방어 기법들은 DRP 공격를 효과적으로 완화할 수 있는가? 특히 어떤 것이 가장 효과적인가?

주요 결과

• DRP 공격는 80개의 실제 주행 시나리오에서 97.5%의 성공률를 기록하였으며, 평균 성공 시간은 0.897초로 평균 인간 운전사의 반응 시간보다 뚜렷이 빠름.
• 소프트웨어 인 더 루프 시뮬레이션에서 다양한 시나리오에 걸쳐 100%의 충돌률을 기록하였으며, 자동 긴급 브레이킹 기능이 활성화된 경우에도 동일하게 적용됨.
• 조도 조건 변화, 시야각 변화, 카메라 움직임에 대해 강건하며, 실제 물리 세계 제약 조건 하에서도 높은 효과성을 유지함.
• 다양한 ALC 모델 아키텍처 간에 일반화 가능하며, 공격자가 대상 모델에 대해 제한된 지식만을 가진 상태에서도 효과적임.
• JPEG 압축(품질 ≤ 20)과 중앙값 블러링(커널 크기 ≥ 15×15)은 부분적으로 효과적이지만, Arch-2 아키텍처를 사용한 오토에인코드르 재구성 방식이 가장 강력한 방어 효과를 보이며, 공격 성공률를 최대 60%까지 감소시킴.
• 운전사의 시각에서 DRP 공격는 도로의 자연스러운 손상과 유사하여 탐지가 어렵고, 도청성이 높음.