[논문 리뷰] Finding Physical Adversarial Examples for Autonomous Driving with Fast and Differentiable Image Compositing

Jinghan Yang, Adith Boloor외 3명|arXiv (Cornell University)|2020. 10. 17.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 9

한 줄 요약

이 논문은 환경 수정(예: 도로 사각형)을 영상 프레임의 미분 가능 변환으로 모델링하여 시뮬레이션된 자율주행을 위한 물리적으로 실현 가능한 적대적 예제를 생성하는, 미분 가능하고 빠른 이미지 병합 프레임워크를 제안한다. 이는 강력하고 확장 가능한 공격을 위한 엔드 투 엔드 기반의 기울기 최적화를 가능하게 하며, 10배 적은 시뮬레이션 런 수로 베이지안 최적화를 능가하여 다양한 기상 조건에서 더 높은 편차율과 위반율을 달성한다.

ABSTRACT

There is considerable evidence that deep neural networks are vulnerable to adversarial perturbations applied directly to their digital inputs. However, it remains an open question whether this translates to vulnerabilities in real systems. For example, an attack on self-driving cars would in practice entail modifying the driving environment, which then impacts the video inputs to the car's controller, thereby indirectly leading to incorrect driving decisions. Such attacks require accounting for system dynamics and tracking viewpoint changes. We propose a scalable approach for finding adversarial modifications of a simulated autonomous driving environment using a differentiable approximation for the mapping from environmental modifications (rectangles on the road) to the corresponding video inputs to the controller neural network. Given the parameters of the rectangles, our proposed differentiable mapping composites them onto pre-recorded video streams of the original environment, accounting for geometric and color variations. Moreover, we propose a multiple trajectory sampling approach that enables our attacks to be robust to a car's self-correcting behavior. When combined with a neural network-based controller, our approach allows the design of adversarial modifications through end-to-end gradient-based optimization. Using the Carla autonomous driving simulator, we show that our approach is significantly more scalable and far more effective at identifying autonomous vehicle vulnerabilities in simulation experiments than a state-of-the-art approach based on Bayesian Optimization.

연구 동기 및 목표

• 실제 동적이고 자기 수정 기능이 있는 조건에서 자율주행 시스템의 적대적 강인성 평가에 대한 격차를 해소하기 위해.
• 이전 방법들이 적대적 예제를 프레임 간 독립적인 변형으로 간주하여 시스템 역학성과 시점 변화를 반영하지 못하는 한계를 극복하기 위해.
• 엔드 투 엔드 기반의 기울기 최적화를 가능하게 하는 확장 가능한, 미분 가능한 파이프라인을 개발하기 위해.
• 물리적으로 실현 가능한(예: 도로 표시선)이고 기상 및 조명 변화와 같은 환경 변화에 강건한 적대적 예제를 생성하기 위해.
• 실세계 배포 이전에 엔드 투 엔드 신경망 제어기의 대규모 스트레스 테스트를 효율적으로 수행하기 위해.

제안 방법

• 물리적 수정(예: 도로 위의 색상 사각형)을 영상 프레임에 매핑하는 미분 가능한 이미지 병합 함수를 사용하며, 학습된 호모그래피와 색상 매핑을 통해 기하학적 왜곡과 색상 변화를 고려한다.
• 청정 환경의 사전 기록된 영상 프레임을 활용하고, 기울기 기반 왜곡 및 혼합 연산을 통해 적대적 패턴을 병합함으로써 병합 과정을 통해 역전파가 가능하도록 한다.
• 다양한 시점과 자기 수정 행동을 시뮬레이션하기 위해 다중 경로 샘플링 전략을 도입하여 공격의 동적 차량 반응에 대한 강건성을 높인다.
• 미분 가능한 신경망 제어기와 통합되어 기울기 기반 최적화를 통해 조향 편차와 제어 오류를 최대화할 수 있도록 한다.
• 실제 주행 영상에 투영된 적대적 패턴의 베이즈 뷰와 그들의 투영을 기반으로 미분 가능한 병합 모델을 훈련시켜 물리적 환경 변화를 정확하고 효율적으로 시뮬레이션할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 미분 가능한 병합 파이프라인은 자율주행 시뮬레이션에서 물리적 환경 수정에서 영상 입력으로의 변환을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 방법은 적대적 예제 생성 시 공격 성공률과 시뮬레이션 효율성 측면에서 베이지안 최적화와 비교해 어떻게 성과를 내는가?
• RQ3 공격 최적화 시에 존재하지 않은 기상 및 시야 조건의 변화에 대해 생성된 적대적 예제는 어느 정도 강건한가?
• RQ4 미분 가능한 병합을 통한 기울기 기반 최적화는 비미분 가능하고 블랙박스 최적화 방법보다 더 강력한 적대적 변형을 생성할 수 있는가?
• RQ5 이 방법은 다양한 주행 시나리오와 환경 조건에서 차량의 편차와 위반을 얼마나 효과적으로 유도하는가?

주요 결과

• 제안된 방법 GradOpt는 베이지안 최적화(BO)보다 유의미하게 높은 공격 성공률를 달성하며, '맑은 정오' 조건에서 '오른쪽 전환' 시나리오에서 5개의 사각형을 사용할 경우 92%의 시나리오에서 BO를 능가한다.
• GradOpt는 BO의 1000회 대비 약 100회로 시뮬레이션 런 수를 한 단계 감소시켰으며, 조향 편차와 위반 유도 성능 측면에서 뛰어난 성능을 발휘한다.
• '맑은 저녁' 및 '비 오는 정오' 조건에서 GradOpt는 강력한 전이성을 유지하며, '맑은 정오' 조건에서 최적화된 경우에도 84~89%의 공격에서 BO보다 더 높은 벌점을 유도한다.
• 이 방법은 차량이 자동으로 보정하는 동안에도 의도한 경로에서 이탈시키고 위반을 유도하는 적대적 예제를 성공적으로 생성하여, 동적 제어 행동에 대한 강건성을 입증한다.
• 미분 가능한 병합 파이프라인은 엔드 투 엔드 최적화를 가능하게 하여, 비미분 가능 접근 방식보다 더 효과적인 적대적 패턴을 발견할 수 있었으며, 특히 다중 프레임 주행 시퀀스에서 두드러진 성능을 보였다.