[논문 리뷰] DeepBillboard: Systematic Physical-World Testing of Autonomous Driving Systems

Husheng Zhou, Wei Li외 5명|arXiv (Cornell University)|2018. 12. 27.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 41

한 줄 요약

DeepBillboard은 도로변 광고판에 출력 가능한 교란을 칠해 자율주행 시스템의 조향 결정을 오도하는 체계적인 물리적 세계 적대적 테스트 접근법을 개발하고, 디지털 및 물리적 세계 사례 연구로 평가된다.

ABSTRACT

Deep Neural Networks (DNNs) have been widely applied in many autonomous systems such as autonomous driving. Recently, DNN testing has been intensively studied to automatically generate adversarial examples, which inject small-magnitude perturbations into inputs to test DNNs under extreme situations. While existing testing techniques prove to be effective, they mostly focus on generating digital adversarial perturbations (particularly for autonomous driving), e.g., changing image pixels, which may never happen in physical world. There is a critical missing piece in the literature on autonomous driving testing: understanding and exploiting both digital and physical adversarial perturbation generation for impacting steering decisions. In this paper, we present DeepBillboard, a systematic physical-world testing approach targeting at a common and practical driving scenario: drive-by billboards. DeepBillboard is capable of generating a robust and resilient printable adversarial billboard, which works under dynamic changing driving conditions including viewing angle, distance, and lighting. The objective is to maximize the possibility, degree, and duration of the steering-angle errors of an autonomous vehicle driving by the generated adversarial billboard. We have extensively evaluated the efficacy and robustness of DeepBillboard through conducting both digital and physical-world experiments. Results show that DeepBillboard is effective for various steering models and scenes. Furthermore, DeepBillboard is sufficiently robust and resilient for generating physical-world adversarial billboard tests for real-world driving under various weather conditions. To the best of our knowledge, this is the first study demonstrating the possibility of generating realistic and continuous physical-world tests for practical autonomous driving systems.

연구 동기 및 목표

• 디지털 교란을 넘어 물리적 세계에서 자율주행 DNN의 견고한 테스트를 촉진한다.
• 여러 프레임에 걸쳐 효과적인 출력 가능한 광고판 교란을 생성하기 위한 공동 최적화 방법을 개발한다.
• 다양한 시야 조건에서 교란이 조향 각도 결정에 미치는 영향 모델링 및 평가한다.
• 물리적 세계 적대적 테스트의 효과성과 강건성을 정량화하기 위한 평가 지표를 제시한다.

제안 방법

• 연속된 프레임 시퀀스에서 조향 모델을 오도하는 하나의 출력 가능한 교란을 생성하기 위한 공동 최적화 문제를 형식화한다.
• 프레임당 교란을 영향력 있는 픽셀의 소수 집합으로 제한하여 프레임 간 겹침과 간섭을 줄인다.
• 교란이 실제 프린터로 인쇄 가능하도록 비인쇄 가능성 점수를 최소화한다.
• 다른 프레임에서의 환경 조명 변화에 대응하기 위해 색상 보정을 포함한다.
• 출력 가능한 교란을 각 프레임에 매핑하는 투사 함수를 사용하고 기울기 기반 접근법으로 최적화한다.
• 알고리즘(Algorithm 1)을 제공하여 교란 제안을 반복하고 색상/디지털 제약을 적용하며 픽셀 중첩을 처리하고 조향 각도 발산을 최대화하는 교란을 선택한다.

실험 결과

연구 질문

• RQ1 도로변 광고판의 출력 가능한 교란이 거리에 따른 변화와 시야 각도에 따라 주행 중 자율주행 차량의 조향 각도에서 일관된 불일치를 유발할 수 있는가?
• RQ2 이러한 물리적 교란은 다양한 조명 조건, 날씨, 프린터 제약 하에서 얼마나 강건한가?
• RQ3 조향 모델에 대한 물리적 세계 적대 효과의 강도와 가능성을 효과적으로 포착하는 지표는 무엇인가?
• RQ4 단일 광고판 교란을 최적화하여 단일 스냅샷이 아닌 연속 프레임 시퀀스에 영향을 주도록 할 수 있는가?
• RQ5 Dave와 Epoch와 같은 조향 모델에 대한 디지털 평가가 물리적 실험으로 얼마나 잘 전달되는가?

주요 결과

• 디지털 테스트에서 DeepBillboard가 여러 조향 모델과 장면에 걸쳐 조향을 오도할 수 있으며, 디지털 실험에서 평균 조향 각도 오차가 최대 41.93도에 이른다.
• 다양한 날씨 조건에서의 물리적 사례 연구는 강건성을 보이며 평균 조향 각도 오차가 4.86도에서 26.44도까지 나타난다.
• 이 방법은 실용적인 자율주행 시스템에 대해 현실적이고 연속적인 물리적 세계 테스트를 가능하게 한다.
• 이 방법은 광고판 외의 다른 물리적 표면에도 일반화되며 예를 들어 벽의 그래피티와 같은 경우가 있다.
• 본 연구는 출력 가능한 적대적 아티팩트로 조향 모델을 테스트하고 스트레스 테스트하기 위한 프레임워크를 제공한다.