[논문 리뷰] Adversarial Objects Against LiDAR-Based Autonomous Driving Systems

Yulong Cao, Chaowei Xiao외 5명|arXiv (Cornell University)|2019. 07. 11.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 63

한 줄 요약

논문은 LiDAR-Adv를 제시합니다. 이는 LiDAR 기반 자율주행 탐지기를 회피할 수 있는 물리적으로 그럴듯한 adversarial 객체를 생성하는 end-to-end 미분 가능 접근법이며, 화이트박스 및 블랙박스 공격을 입증하고 Baidu Apollo 플랫폼에서의 실제 3D 프린트 테스트를 포함합니다.

ABSTRACT

Deep neural networks (DNNs) are found to be vulnerable against adversarial examples, which are carefully crafted inputs with a small magnitude of perturbation aiming to induce arbitrarily incorrect predictions. Recent studies show that adversarial examples can pose a threat to real-world security-critical applications: a "physical adversarial Stop Sign" can be synthesized such that the autonomous driving cars will misrecognize it as others (e.g., a speed limit sign). However, these image-space adversarial examples cannot easily alter 3D scans of widely equipped LiDAR or radar on autonomous vehicles. In this paper, we reveal the potential vulnerabilities of LiDAR-based autonomous driving detection systems, by proposing an optimization based approach LiDAR-Adv to generate adversarial objects that can evade the LiDAR-based detection system under various conditions. We first show the vulnerabilities using a blackbox evolution-based algorithm, and then explore how much a strong adversary can do, using our gradient-based approach LiDAR-Adv. We test the generated adversarial objects on the Baidu Apollo autonomous driving platform and show that such physical systems are indeed vulnerable to the proposed attacks. We also 3D-print our adversarial objects and perform physical experiments to illustrate that such vulnerability exists in the real world. Please find more visualizations and results on the anonymous website: https://sites.google.com/view/lidar-adv.

연구 동기 및 목표

• LiDAR 기반 자율주행 탐지 시스템의 adversarial 객체에 대한 취약성 조사.
• Physically plausible adversarial 3D 객체를 생성하는 엔드-투-엔드 프레임워크(LiDAR-Adv) 개발.
• 현실성과 강건성을 유지하면서 여러 목표(객체 가리기 및 레이블 변경) 하 공격 가능.
• 실험실 시뮬레이션과 실제 운영 수준의 자율주행 플랫폼에서의 공격 평가 및 실제 세계 3D 프린트 객체 테스트.

제안 방법

• LiDAR 기반 탐지 파이프라인(전처리, 모델 M, 후처리)에 대한 adversarial objective 수립.
• 3D 객체 S에서 LiDAR 포인트 클라우드 생성을 시뮬레이션하는 미분 가능한 LiDAR 렌더러 R 개발, 그라디언트 기반 최적화 가능.
• 엔드-투-엔드 최적화를 허용하기 위한 비미분 가능 2D 특징 집계 Phi의 미분 가능한 프록시 생성.
• L = L_adv + λ L_r로 구성된 3D 정점 교란 최적화. 여기서 L_r은 현실성(Laplacian 및 L2 거리)을 강제하고 L_adv는 공격을 주도.
• 두 가지 공격 모드 구성: 탐지 신뢰도를 감소시켜 객체를 숨기기, 탐지된 레이블을 대상 클래스(target class)로 변경.
• 모델 내부에 접근할 수 없는 경우 진화 기반 탐색을 통한 블랙박스 공격 제공.
• 다양한 자세와 방향에서 보편적 adversarial 객체를 생성한 후 물리적으로 3D 프린트하여 움직이는 차량에서 테스트하여 강건성 확인.

실험 결과

연구 질문

• RQ1 물리적으로 그럴듯한 3D 객체 교란이 실제 환경에서 LiDAR 기반 탐지기를 속일 수 있는가?
• RQ2 LiDAR 전처리 및 후처리 단계가 미분 가능하지 않을 때 그라디언트 기반 최적화를 어떻게 적용할 수 있는가?
• RQ3 객체의 위치, 방향, 플랫폼 조건이 바뀌어도 adversarial 객체의 효과가 유지되는가(강건성)?
• RQ4 산업 등급 자율주행 시스템(Baidu Apollo)에서 객체 가리기 또는 레이블 변경 실패를 야기할 수 있는가?

주요 결과

• LiDAR-Adv는 블랙박스 진화 기반 방법보다 더 높은 공격 성공률을 달성합니다(예: 50 cm 객체에서 71% 대 62%; 75 cm 객체에서 51% 대 36%).
• 생성된 adversarial 객체는 진화 기반 방법보다 매끄럽습니다.
• 대상 클래스로 오분류되도록 탐지기 출력을 변경할 수 있습니다(예: Pedestrian로 오탐지).
• 보이지 않는 위치/방향에서도 강건한 adversarial 객체는 높은 효과를 유지합니다(특정 보이지 않는 조건에서 성공률 96/100 등).
• 3D 프린트된 adversarial 객체는 실제 주행 테스트의 다수 프레임에서 LiDAR 기반 탐지기에 의해 검출되지 않아 실제 세계 위협을 입증합니다.