[논문 리뷰] Talk Proposal: Towards the Realistic Evaluation of Evasion Attacks using CARLA

Cory Cornelius, Shang-Tse Chen외 2명|arXiv (Cornell University)|2019. 04. 18.

Advanced Malware Detection Techniques인용 수 5

한 줄 요약

이 논문은 객체 검출기의 내용 보존형 회피 공격(예: ShapeShifter)을 현실적으로 평가하기 위해 CARLA 시뮬레이터를 사용하는 것을 제안한다. 이는 정지 신호등과 옷에 물리적으로 실현 가능한 적대적 흐트러짐을 생성한다. 이 방법은 다양한 환경 조건 하에서 공격을 가시화하고 재현 가능한 방식으로 테스트할 수 있게 하며, 기하학적 및 센서 기반 방어 조치(예: 깊이 감지)가 이러한 위협을 완화할 수 있음을 드러낸다.

ABSTRACT

In this talk we describe our content-preserving attack on object detectors, ShapeShifter, and demonstrate how to evaluate this threat in realistic scenarios. We describe how we use CARLA, a realistic urban driving simulator, to create these scenarios, and how we use ShapeShifter to generate content-preserving attacks against those scenarios.

연구 동기 및 목표

• 순수하게 구분하기 어려운 흐트러짐이 아닌 현실적이고 내용을 보존하는 공격에 초점을 맞춰, 적대적 기계 학습 연구의 격차를 해소하기 위해.
• 실제 세계에서 공격 예제를 제작하고, 제작 및 테스트하는 반복 주기를 줄이기 위해 CARLA 시뮬레이터를 활용해 현실적인 시나리오 시뮬레이션을 수행하기 위해.
• ShapeShifter와 같은 적대적 공격이 실제 센서 제약 조건과 환경의 변동성 하에서도 효과를 유지하는지 평가하기 위해.
• CARLA에서 다양한 센서 모odalities(예: 깊이, LIDAR)를 시뮬레이션하여 종합적인 시스템 수준의 방어 전략을 탐색하기 위해.
• 기존의 방어 조치(예: 적대적 훈련)가 기하학적 인지가 가능한 물리적으로 실현 가능한 공격에 대해 스케일링되고 효과적인지 평가하기 위해.

제안 방법

• 다양한 조명, 날씨 및 교통 조건을 갖춘 현실적인 도시 주행 시나리오를 생성하기 위해 CARLA 시뮬레이터를 사용하여 적대적 공격 테스트를 위한 환경를 제공한다.
• ShapeShifter 공격 프레임워크를 활용하여 정지 신호등과 티셔츠에 내용 보존형이며 물리적으로 실현 가능한 흐트러짐을 생성하고, 이는 Faster R-CNN 객체 검출기를 오도시킨다.
• 공격 제작 과정에서 실제 이미지 왜곡(예: 블러, 조명 변화)을 모델링하기 위해 전환에 대한 기대값 기법을 적용하여 공격의 물리적 내구성을 향상시킨다.
• RGB 카메라, 깊이, LIDAR를 포함한 다수의 센서 모달리티를 지원하는 CARLA의 기능을 활용하여 다양한 감지 파이프라인에서의 공격 성공률을 평가한다.
• CARLA의 재현 가능한 시뮬레이션 환경을 활용하여 다양한 환경 조건과 센서 구성에서 공격 성능을 체계적으로 테스트한다.
• 픽셀 기반 적대적 흐트러짐에 대한 깊이 채널 입력의 저항력을 분석하여 시스템 수준의 방어 전략을 탐구한다.

실험 결과

연구 질문

• RQ1 정적 이미지 벤치마크가 아닌 현실적이고 동적인 주행 시뮬레이션에서 내용 보존형 적대적 공격(예: ShapeShifter)이 효과를 유지할 수 있는가?
• RQ2 실제 이미지 변형(예: 블러, 조명 변화)은 적대적 흐트러짐의 물리적 실현 가능성과 성공률에 어떤 영향을 미치는가?
• RQ3 깊이 감지나 기타 다중 모달리티 센서 데이터가 자율 주행 인식 시스템에서 픽셀 기반 적대적 공격에 대비하여 방어 수단으로서 얼마나 효과적인가?
• RQ4 CARLA는 다양한 환경 조건에서 적대적 공격 및 방어 조치의 내구성을 효율적이고 재현 가능한 방식으로 평가하는 데 사용될 수 있는가?
• RQ5 기존의 방어 조치(예: 적대적 훈련)는 외관과 기하학적 흐트러짐을 동시에 조작하는 ShapeShifter 스타일의 공격에 대해 효과적으로 스케일링될 수 있는가?

주요 결과

• ShapeShifter 공격은 CARLA 시뮬레이션에서 Faster R-CNN 검출기를 성공적으로 오도시켰으며, 내용 보존형 적대적 흐트러짐이 현실 환경에서도 효과를 유지함을 입증한다.
• 전환에 대한 기대값 기법은 제작된 적대적 예제의 물리적 내구성을 크게 향상시켜 실제 세계에서의 반복적 시행이 줄어들게 한다.
• CARLA는 다양한 환경 조건에서 적대적 공격의 빠르고 재현 가능한 평가를 가능하게 하여 연구 및 검증 주기를 가속화한다.
• CARLA의 깊이 채널은 픽셀 기반 공격에 대한 방어 잠재력을 보이며, 기하학적 일관성이 형태에 영향을 주지 않는 흐트러짐을 탐지하거나 완화하는 데 도움이 될 수 있다.
• 기존의 방어 조치(예: 적대적 훈련)는 외관과 기하학적 흐트러짐을 결합한 ShapeShifter 스타일의 공격에 대해 효과적으로 스케일링되지 않을 수 있다.
• 센서 모달리티와 물리적 제약 조건을 고려한 시스템 수준의 방어 전략은 모델 전용 방어 조치보다 종합적이고 더 유망한 접근 방식을 제공한다.