[논문 리뷰] On Robustness of Lane Detection Models to Physical-World Adversarial Attacks in Autonomous Driving

Takami Sato, Qi Alfred Chen|arXiv (Cornell University)|2021. 07. 06.

Adversarial Robustness in Machine Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 자율주행 환경에서 최신의 차선 검출 모델이 실제 세계의 적대적 공격에 얼마나 견딜 수 있는지에 대한 최초의 대규모 실증 연구를 수행한다. 연구에서는 기존 정확도 및 F1 점수 기준으로 가장 뛰어난 성능을 보이는 모델일수록 종종 종단 간 자율주행 시나리오에서 가장 취약하다는 중요한 괴리 현상을 드러내며, 현재의 평가 기준이 실제 세계의 안전성과 보안성 요구를 충분히 반영하지 못하고 있음을 시사한다.

ABSTRACT

After the 2017 TuSimple Lane Detection Challenge, its evaluation based on accuracy and F1 score has become the de facto standard to measure the performance of lane detection methods. In this work, we conduct the first large-scale empirical study to evaluate the robustness of state-of-the-art lane detection methods under physical-world adversarial attacks in autonomous driving. We evaluate 4 major types of lane detection approaches with the conventional evaluation and end-to-end evaluation in autonomous driving scenarios and then discuss the security proprieties of each lane detection model. We demonstrate that the conventional evaluation fails to reflect the robustness in end-to-end autonomous driving scenarios. Our results show that the most robust model on the conventional metrics is the least robust in the end-to-end evaluation. Although the competition dataset and its metrics have played a substantial role in developing performant lane detection methods along with the rapid development of deep neural networks, the conventional evaluation is becoming obsolete and the gap between the metrics and practicality is critical. We hope that our study will help the community make further progress in building a more comprehensive framework to evaluate lane detection models.

연구 동기 및 목표

• 자율주행 환경에서 실제 세계의 물리적 적대적 공격에 대한 차선 검출 모델의 내성을 평가하기 위해.
• 종단 간 자율주행 시스템에 대한 실질적 내성 반영에 실패하는 기존 평가 지표(정확도, F1 점수)의 한계를 규명하기 위해.
• OpenPilot를 활용해 차선 검출 모델과 차량 횡방향 제어 시스템을 연결하여 공정한 평가 방법론을 개발하기 위해.
• 세 가지 유형의 실제 세계 적대적 공격에 대해 네 가지 주요 차선 검출 접근 방식의 취약성을 평가하기 위해.
• 실제 세계의 안전성과 보안 요구사항을 더 잘 반영하는 종합적인 평가 프레임워크의 필요성을 주장하기 위해.

제안 방법

• 세분화 기반, 행별 분류 기반, 앵커 기반, 키포인트 기반의 네 가지 범주로 최신의 딥러닝 기반 차선 검출 모델을 체계적으로 분류하였다.
• OpenPilot의 횡방향 제어 시스템과 차선 검출 출력을 통합하여 실제 자율주행 행동을 시뮬레이션하는 종단 간 평가 파이프라인을 구축하였다.
• 세 가지 유형의 실제 세계 적대적 공격을 적용: 화이트박스 기반의 미분 가능한 패치(DRP),_BLK박스 DRP, 그리고 그림으로 차선선을 그리는 공격.
• 도청성 제약 조건(예: Grayscale, 제한된 변형 영역) 하에서 기울기 기반 최적화를 사용하지 않고, NES 기반 접근 방식을 통해 블랙박스 물리적 적대적 패치를 생성하였다.
• 기존 평가 지표(정확도, F1)와 종단 간 주행 성능(횡방향 이탈)을 모두 평가하였다.
• 동일한 공격 조건에서 모든 모델 간 내성 비교가 공정하게 이루어지도록 통제된 실험 설계를 하였다.

실험 결과

연구 질문

• RQ1 기존 평가 지표(정확도, F1 점수)는 종단 간 자율주행 시나리오에서의 내성과 얼마나 관련이 있는가?
• RQ2 실제 주행 조건에서 어떤 차선 검출 모델 아키텍처가 물리적 세계 적대적 공격에 가장 취약한가?
• RQ3 물리적 적대적 공격에서 도청성 제약 조건이 쿼리 기반(블랙박스) 공격의 효과성에 얼마나 영향을 미치는가?
• RQ4 실제 차량 제어 시스템인 OpenPilot와 차선 검출 출력을 통합함으로써, 기존 벤치마크에서는 드러나지 않았던 숨겨진 취약성이 어떻게 드러나는가?
• RQ5 간단하고 구현 가능한 공격 방식(예: 차선선을 그려서 공격)에 대해, 모델 수준 또는 센서 융합 방식의 방어 조치가 위험을 완화시킬 수 있는가?

주요 결과

• 기존 정확도 및 F1 점수 기준으로 가장 내성이 높은 모델일수록 종단 간 평가에서는 가장 취약한 것으로 나타나, 표준 벤치마크와 실제 세계 성능 사이에 심각한 괴리가 있음을 입증하였다.
• 화이트박스 DRP 공격은 모든 모델에서 높은 성공률를 기록하여, 공격자가 모델에 완전한 액세스를 가진 경우 매우 취약함을 시사한다.
• 블랙박스 DRP 공격은 예상보다 효과적이지 않았으며, 기울기 추정에 영향을 주는 복잡한 도청성 제약 조건(예: 회색조, 제한된 변형 영역)이 원인일 가능성이 높다.
• 그림으로 차선선을 그리는 공격은 특히 효과적이며 쉽게 구현 가능했으며, LaneATT는 앵커 기반 아키텍처의 특성 탓에 높은 취약성을 보였다.
• 간단하고 저비용의 물리적 공격(예: 차선선을 그려서 공격)에 대한 취약성은 구현 용이성 탓에 실제 세계의 보안 리스크를 심각하게 야기한다.
• 현재의 기존 평가 방법은 실질적인 내성 문제를 포착하지 못하여 점점 더 낡아지고 있으며, 자율주행 안전성에 직접적인 영향을 미치는 중요한 문제를 간과하고 있다.