[논문 리뷰] Security of Deep Learning based Lane Keeping System under Physical-World Adversarial Attack

Takami Sato, Junjie Shen외 4명|arXiv (Cornell University)|2020. 03. 03.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 13

한 줄 요약

이 논문은 딥러닝 기반 차선 유지 보조 시스템(LKAS)에 대한 첫 번째 체계적인 실세계 공격을 제시한다. 은밀하고 회색조의 '더러운 도로 패치'를 실제 도로에 부착하여 차선 감지를 조작한다. 기울기 집합과 차량 운동 모델을 활용한 다중 프레임 최적화 문제로 공격을 수립함으로써, OpenPilot는 1.3초 이내에 차선에서 이탈하게 되며, 이는 평균 인간 반응 시간보다 짧다. 이는 자율주행 시스템의 심각한 안전 위험을 입증한다.

ABSTRACT

Lane-Keeping Assistance System (LKAS) is convenient and widely available today, but also extremely security and safety critical. In this work, we design and implement the first systematic approach to attack real-world DNN-based LKASes. We identify dirty road patches as a novel and domain-specific threat model for practicality and stealthiness. We formulate the attack as an optimization problem, and address the challenge from the inter-dependencies among attacks on consecutive camera frames. We evaluate our approach on a state-of-the-art LKAS and our preliminary results show that our attack can successfully cause it to drive off lane boundaries within as short as 1.3 seconds.

연구 동기 및 목표

• 실세계 DNN 기반 차선 유지 보조 시스템(LKAS)이 실세계 공격에 노출되었을 때의 보안 취약성을 조사하기 위해.
• 사람의 시각 인지에 영향을 주지 않으면서도 실제 도로에 물리적으로 배치할 수 있는 실용적이고 은밀한 공격 벡터인 '더러운 도로 패치'를 규명하기 위해.
• 차량 운동에 의해 유도되는 연속된 영상 프레임 간의 강한 상호의존성으로 인해 지속적인 이탈을 유도하는 데 도전하는 문제를 해결하기 위해.
• 다수의 프레임에서 효과적이면서도 물리적으로 실현 가능하고 은밀한 공격 패턴을 생성하는 체계적인 최적화 프레임워크를 개발하기 위해.

제안 방법

• 회색조이며 원래의 차선선과 겹치지 않는 제한 조건을 갖춘 도메인 특화, 물리적으로 실현 가능하고 은밀한 위협 모델로 '더러운 도로 패치'를 도입한다.
• LKAS의 원하는 주행 경로에서 횡방향 이탈을 최대화하기 위해 경로 굽힘 목표 함수를 사용한 다중 프레임 최적화 문제로 공격를 수립한다.
• 차량 운동 모델을 활용해 차량 궤적을 시뮬레이션하고 프레임 간 상태 변화를 전파함으로써 시간에 따라 일관된 공격 생성을 가능하게 한다.
• 다양한 패치 크기와 위치에서 유도된 기울기를 보행자 시점(BEV) 변환에 통합하여, 효과적인 최적화를 가능하게 한다.
• L2 정규화와 색상공간 제약 조건을 적용하여 생성된 패치가 은밀함을 확보하기 위해 일반적인 도로의 덜러움처럼 보이게 한다.
• DNN 기반 차선 검출기와 횡방향 제어기의 역전파를 통해 공격 입력을 생성하고, BEV 공간에서 투영된 기울기 하강법을 통해 패치를 업데이트한다.

실험 결과

연구 질문

• RQ1 실세계 공격 패치를 설계하여 DNN 기반 LKAS를 은밀하게 조작할 수 있는가? 이는 인간의 시각 인지에 영향을 주지 않는다.
• RQ2 차량 운동에 의해 유도되는 강한 상호의존성으로 인해 연속된 영상 프레임 간에 공격를 효과적으로 전파할 수 있는가?
• RQ3 실제 주행 동역학 조건 하에서 LKAS의 지속적인 횡방향 이탈을 유도하는 데 가장 효과적인 최적화 목표 함수는 무엇인가?
• RQ4 이러한 공격가 실제 LKAS가 인간 반응 시간보다 더 빨리 차선 경계에서 이탈하도록 유도할 수 있는 정도는 어느 정도인가?
• RQ5 제안된 방법은 다양한 주행 시나리오, 속도 및 차량 모델에서 얼마나 효과적인가?

주요 결과

• 실세계 시나리오(comma2k19-1)에서 공격는 OpenPilot LKAS가 0.9초 이내에 고속도로 차선에서 0.745미터 이상 이탈하도록 성공적으로 유도하였다.
• 모의 고속도로 시나리오(LGSVL-1)에서는 1.3초 이내에 차선 이탈을 달성하여 통제된 조건 하에서도 효과성을 입증하였다.
• 세 가지 다른 시나리오에서 공격가 효과를 보였다: 두 개의 실세계 고속도로 주행(126 km/h 및 105 km/h), 한 개의 모의 시나리오(72 km/h). 이는 속도 및 환경에 관계없이 강건함을 확인하였다.
• 악성 도로 패치는 물리적으로 실현 가능했으며, 먼지나 이물질과 구분되지 않아 은밀함을 유지하였다. 회색조 색상만 사용하고 차선선을 커버하지 않아 은밀함을 확보하였다.
• 공격는 인간 반응 시간(2.3초)을 초월하여, 자율주행 시스템이 운전사가 간섭할 수 있는 시간 이내에 조작될 수 있음을 시사하며, 심각한 안전 위험을 드러냈다.
• 운전사 시점의 데모 영상에서 공격가 1초 이내에 눈에 띄고 지속적인 횡방향 이탈을 유도하는 것으로 확인되었으며, 실제 영향을 검증하였다.