[논문 리뷰] Hold Tight and Never Let Go: Security of Deep Learning based Automated Lane Centering under Physical-World Attack

Takami Sato, Junjie Shen외 4명|arXiv (Cornell University)|2020. 09. 14.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 14

한 줄 요약

이 논문은 깨끗한 도로가 아닌 더러운 도로 패치를 사용하여 딥러닝 기반 자율차선유지(ALK) 시스템을 공격하는 물리세계 공격을 제안한다. 안전이 중요한 목표를 고려하고 동적 차량 조작 및 모델 설계 제약 조건을 반영하여 공격 패치를 최적화함으로써, 평균 0.95초 이내에 차선 이탈을 유도하는 데 성공률이 92% 이상을 기록한다—이는 인간의 반응 시간보다 빠른 속도이며, 실제 시뮬레이션 환경에서 충돌을 유도하는 데 성공률가 98%에서 100%에 이르게 된다.

ABSTRACT

Automated Lane Centering (ALC) systems are convenient and widely deployed today, but also highly security and safety critical. In this work, we are the first to systematically study the security of state-of-the-art deep learning based ALC systems in their designed operational domains under physical-world adversarial attacks. We formulate the problem with a safety-critical attack goal, and a novel and domain-specific attack vector: dirty road patches. To systematically generate the attack, we adopt an optimization-based approach and overcome domain-specific design challenges such as camera frame inter-dependencies due to dynamic vehicle actuation, and the lack of objective function design for lane detection models. We evaluate our attack method on a production ALC system using 80 attack scenarios from real-world driving traces. The results show that our attack is highly effective with over 92% success rates and less than 0.95 sec average success time, which is substantially lower than the average driver reaction time. Such high attack effectiveness is also found (1) robust to motion model inaccuracies, different lane detection model designs, and physical-world factors, and (2) stealthy from the driver's view. To concretely understand the end-to-end safety consequences, we further evaluate on concrete real-world attack scenarios using a production-grade simulator, and find that our attack can successfully cause the victim to hit the highway concrete barrier or a truck in the opposite direction with 98% and 100% success rates. We also discuss defense directions.

연구 동기 및 목표

• 물리세계 공격에 대한 최신 딥러닝 기반 자율차선유지(ALK) 시스템의 보안 취약성을 조사하기 위해.
• ALC 시스템의 운영 도메인에 특화된 새로운 공격 벡터인 더러운 도로 패치를 식별하고 악용하기 위해.
• 동적 차량 조작과 차선 검출 모델의 목적 함수 부재를 고려한 최적화 기반 공격 생성 방법을 개발하기 위해.
• 운동 모델의 부정확성과 물리세계 요소를 포함한 실제 주행 조건에서 공격의 효과성을 평가하기 위해.
• 고정밀도 시뮬레이션을 통해 충돌 시나리오를 분석함으로써 종단 간 안전성 결과를 평가하기 위해.

제안 방법

• 차선 이탈을 유도하는 것이 목표인 안전이 중요한 최적화 문제로 공격를 수립하기 위해.
• 실제 ALC 시스템 운영에 맞게 설계된 물리적 도로 패치(먼지나 오염 무늬 포함)를 새로운 공격 벡터로 설계하기 위해.
• 동적 차량 조작으로 인한 카메라 프레임 간 상관관계를 고려하기 위해 최적화 과정에서 시간적 모델링을 적용하기 위해.
• 차선 검출 모델의 목적 함수 부재 문제를 해결하기 위해 모델 행동과 시각적 특징에서 유도된 대체 목적 함수를 사용하기 위해.
• 실제 주행 조건에서 차선 검출 실패 가능성을 최대화하는 반복 최적화를 통해 공격 패치를 생성하기 위해.
• 안전 결과 평가를 위해 실제 주행 트레이스와 프로덕션 수준의 시뮬레이터를 사용하여 공격를 검증하기 위해.

실험 결과

연구 질문

• RQ1 물리세계 공격 패치는 실제 주행 시나리오에서 딥러닝 기반 자율차선유지 시스템을 효과적으로 악용할 수 있는가?
• RQ2 운동 모델의 부정확성과 물리세계 노이즈를 포함한 현실 조건에서 공격의 효과는 어떠한가?
• RQ3 운전자 시각에서 공격는 얼마나 은폐되어 있는가?
• RQ4 충돌 가능성이 있는 장애물이나 대향차량과의 충돌 가능성과 같은 종단 간 안전 결과는 어떠한가?
• RQ5 다양한 차선 검출 모델 아키텍처와 물리적 배치 조건에서도 공격는 얼마나 강건한가?

주요 결과

• 제안된 공격는 80개의 실제 주행 시나리오에서 평균 92% 이상의 성공률로 차선 이탈을 유도한다.
• 공격 성공 평균 소요 시간은 0.95초 이내이며, 이는 평균 인간 운전사의 반응 시간보다 빠른 수준이다.
• 운동 모델의 부정확성, 다양한 차선 검출 모델 설계, 다양한 물리세계 요소 조건에서도 공격는 효과적이고 강건하다.
• 공격는 시각적으로 은폐되어 있어 운전사가 운영 중에 눈에 띄는 시각적 신호를 감지하지 못한다.
• 시뮬레이션 결과, 공격는 고속도로 콘crete 장벽과의 충돌 시 98%의 경우에서 충돌을 유도했고, 대향차량과의 충돌 시 100%의 경우에서 충돌을 일으켰다.
• 공격는 높은 전이성과 실제 배포 환경에서의 실용성을 입증했다.