[논문 리뷰] PhysGAN: Generating Physical-World-Resilient Adversarial Examples for Autonomous Driving

Zelun Kong, Junfeng Guo외 2명|arXiv (Cornell University)|2019. 07. 09.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 4

한 줄 요약

PhysGAN은 다중 프레임 영상 입력을 활용하여 자율 주행 시스템의 주행 모델을 지속적으로 오도시키는 물리적으로 인쇄 가능한, 시각적으로 구분되지 않는 적대적 예제를 생성하는 GAN 기반 프레임워크입니다. 실제 테스트에서 평균 주행 각도 오차가 최대 19.17도에 이를 정도로, 디지털 및 물리 세계 평가에서 최신 기준을 초월합니다.

ABSTRACT

Although Deep neural networks (DNNs) are being pervasively used in vision-based autonomous driving systems, they are found vulnerable to adversarial attacks where small-magnitude perturbations into the inputs during test time cause dramatic changes to the outputs. While most of the recent attack methods target at digital-world adversarial scenarios, it is unclear how they perform in the physical world, and more importantly, the generated perturbations under such methods would cover a whole driving scene including those fixed background imagery such as the sky, making them inapplicable to physical world implementation. We present PhysGAN, which generates physical-world-resilient adversarial examples for mislead-ing autonomous driving systems in a continuous manner. We show the effectiveness and robustness of PhysGAN via extensive digital and real-world evaluations. Digital experiments show that PhysGAN is effective for various steer-ing models and scenes, which misleads the average steer-ing angle by up to 23.06 degrees under various scenarios. The real-world studies further demonstrate that PhysGAN is sufficiently resilient in practice, which misleads the average steering angle by up to 19.17 degrees. We compare PhysGAN with a set of state-of-the-art baseline methods including several of our self-designed ones, which further demonstrate the robustness and efficacy of our approach. We also show that PhysGAN outperforms state-of-the-art baseline methods To the best of our knowledge, PhysGANis probably the first technique of generating realistic and physical-world-resilient adversarial examples for attacking common autonomous driving scenarios.

연구 동기 및 목표

• 변화하는 시야 각도와 조도와 같은 실제 세계의 동적 요인에 강건하며, 시각적으로 현실적이며 물리적으로 구현 가능한 적대적 예제를 생성하는 데 있어 발생하는 격차를 해결하기 위해.
• 기존의 전체 환경(예: 하늘과 같은 고정 배경 포함)을 왜곡하는 디지털 적대적 공격 방식은 물리적 구현에 부적합하므로, 이러한 한계를 극복하기 위해.
• 지속적인 주행 경로 전반에 걸쳐 회귀 기반 주행 모델을 지속적으로 오도시키는 단일, 인쇄 가능한 적대적 예제를 개발하기 위해.
• 실제 카메라 촬영 조건 하에서 원본 도로변 신호등과 시각적으로 구분되지 않도록 보장하기 위해.
• 공격의 효과성을 디지털 시뮬레이션과 실제 물리적 구현 모두에서 평가하여 자율 주행 차량에 대한 강건성과 실제 위험성을 입증하기 위해.

제안 방법

• PhysGAN은 다중 영상 프레임 간의 시간적 동역학을 모델링하기 위해 3D 텐서 입력을 사용하는 GAN 아키텍처를 채택하여, 거리 및 각도 변화와 같은 실제 세계의 변동성에 강건성을 향상시킵니다.
• 생성기는 타겟 주행 모델의 내부 표현과 일치시키기 위해, 타겟 주행 모델의 특징을 추출하는 인코더(기반 CNN 특징 추출기)에서 추출된 특징에 조건을 붙입니다.
• 프레임워크는 현실성과 물리 세계 일관성을 강제하기 위해 디스커리미네이터를 사용하여, 적대적 신호가 카메라 촬영 조건 하에서도 자연스럽게 보이도록 보장합니다.
• 학습 과정은 공격 성공률(주행 예측 오도)과 시각적 정확도를 동시에 최적화하기 위해, 인지적 손실 및 적대적 손실 함수를 사용합니다.
• 이 방법은 주행 시퀀스의 모든 프레임에서 효과를 유지하는 단일 고정된 적대적 출력물을 생성하여, 프레임 단위로 변형하는 것을 방지합니다.
• 생성 과정에서 카메라 효과(예: 블러, 조도)를 시뮬레이션하여 실제 구현 가능성을 확보함으로써 물리 세계 제약 조건을 통합합니다.

실험 결과

연구 질문

• RQ1 단일의 물리적으로 인쇄 가능한 적대적 예제를 생성할 수 있는가? 이는 다수의 영상 프레임에 걸쳐 지속적으로 회귀 기반 자율 주행 주행 모델을 오도시킨다.
• RQ2 PhysGAN의 공격 성능은 시뮬레이션 및 실제 세계 설정에서 최신 기술의 디지털 및 물리 세계 공격 방법과 비교해 어떻게 평가되는가?
• RQ3 PhysGAN는 실제 주행 조건에서 높은 공격 성공률를 달성하면서도 얼마나 높은 시각적 현실감을 유지할 수 있는가?
• RQ4 3D 영상 입력의 사용은 단일 프레임 또는 디지털 전용 공격 방법에 비해 유의미하게 강건성을 향상시키는가?
• RQ5 PhysGAN가 생성한 적대적 예제는 실제 자율 주행 차량에 배치되었을 때 위험한 실제 주행 행동을 유도하는가?

주요 결과

• 디지털 세계 평가에서 PhysGAN는 다양한 주행 모델과 시나리오에서 최대 평균 주행 각도 오차 21.85도를 기록했습니다.
• 실제 물리 세계 평가에서 PhysGAN는 최대 평균 주행 각도 오차 19.17도를 유도하여 강건성과 실제 공격 성공률를 입증했습니다.
• 온라인 주행 사례 연구에서 유일하게 PhysGAN가 생성한 적대적 신호가 차량이 도로 가장자리로 이탈하게 했으며, 5mph 속도로 10초 만에 가장자리에 도달했습니다.
• PhysFGSM, 무작위 노이즈, 원본 신호와 같은 기준 방법에 비해 PhysGAN는 유의미하게 뛰어난 성능을 보였으며, 특히 원본 신호의 경우 주행 행동에 거의 영향을 주지 않았습니다.
• 프레임 인덱스가 증가할수록 주행 각도 오차가 증가함에 따라, 프레임 내에서 더 큰 크기의 적대적 신호가 더 강한 오도 효과를 유도함을 확인했습니다.
• 프레임 간 지속적인 주행에서 공격 효과를 유지하는 단일의 시각적으로 구분되지 않는 적대적 출력물을 성공적으로 생성하여, 물리 세계 내 강건성을 입증했습니다.