[논문 리뷰] Rogue Signs: Deceiving Traffic Sign Recognition with Malicious Ads and Logos

Chawin Sitawarin, Arjun Nitin Bhagoji외 3명|arXiv (Cornell University)|2018. 01. 08.

Adversarial Robustness in Machine Learning인용 수 29

한 줄 요약

이 논문은 자율주행차(AV) 시스템이 95% 이상의 성공률로 오용하는 악성 교통 표지판으로 변환되는 새로운 물리적 세계 공격인 Sign Embedding 공격을 소개한다. 이 공격은 생성 과정에서 실제 이미지 변형에 대한 내성을 최적화함으로써, 가시적으로 인식되지 않으며 가짜로 분류되는 고신뢰도의 공격 예제를 생성하여 가상 및 물리적 환경 모두에서 AV 인식 시스템을 속이는 데 성공한다.

ABSTRACT

We propose a new real-world attack against the computer vision based systems of autonomous vehicles (AVs). Our novel Sign Embedding attack exploits the concept of adversarial examples to modify innocuous signs and advertisements in the environment such that they are classified as the adversary's desired traffic sign with high confidence. Our attack greatly expands the scope of the threat posed to AVs since adversaries are no longer restricted to just modifying existing traffic signs as in previous work. Our attack pipeline generates adversarial samples which are robust to the environmental conditions and noisy image transformations present in the physical world. We ensure this by including a variety of possible image transformations in the optimization problem used to generate adversarial samples. We verify the robustness of the adversarial samples by printing them out and carrying out drive-by tests simulating the conditions under which image capture would occur in a real-world scenario. We experimented with physical attack samples for different distances, lighting conditions and camera angles. In addition, extensive evaluations were carried out in the virtual setting for a variety of image transformations. The adversarial samples generated using our method have adversarial success rates in excess of 95% in the physical as well as virtual settings.

연구 동기 및 목표

• 기존 교통 표지판을 수정하는 것 외에도, 무해한 표지판과 광고까지 공격 표면으로 확장하기 위해 노력한다.
• 조명 변화, 카메라 각도, 크기 조정 등의 실제 이미지 변형에 대해 높은 성공률을 유지하는 물리적으로 강건한 공격 파이프라인을 개발한다.
• 가상 시뮬레이션과 실제 주행 테스트 모두에서 공격 예제의 효과성을 평가하여 실용적 타당성을 입증한다.
• 기존 방법이 광범위한 데이터 수집이 필요로 하던 것과는 달리, 단일 이미지의 대상 표지판만으로도 표적 공격 예제를 스케일러블하게 생성하는 방법을 제공한다.
• AV 인식 시스템이 보통 무해한 시각 콘텐츠를 고신뢰도로 잘못 분류하는 취약성을 부각한다.

제안 방법

• 공격은 교통 표지판 인식 모델의 아키텍처와 가중치에 완전한 액세스가 가능한 화이트박스 위협 모델을 사용하여 표적 공격 예제를 생성한다.
• 공격 변형은 목표 표지판에 대한 분류 오차를 최소화하면서도 변형 크기를 제약하여 시각적으로 인식되지 않도록 하는 손실 함수를 사용하여 최적화된다.
• 실제 세계의 변형에 대한 내성을 확보하기 위해 빛기반, 기울임, 크기 조정 등의 다양한 이미지 변형을 최적화 과정에 통합한다.
• 이 방법은 보통의 로고나 맞춤형 디자인의 형태와 색상에 변형을 내장하여 목표 교통 표지판을 모방하는 공격 예제를 생성한다.
• 파이프라인은 가상 및 물리적 테스트 환경에서 감지 및 분류의 유효성을 검증하기 위해 형태 기반 감지기와 CNN 분류기를 포함한다.
• 이 접근법은 비교통 표지판 콘텐츠를 포함한 어떤 소스 이미지도 최소한의 데이터 요구 조건으로도 엔드 투 엔드로 공격 예제를 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 로고나 광고와 같은 무해한 비교통 표지판 콘텐츠가 자율주행차(AV) 시스템에 의해 위험한 교통 표지판으로 고신뢰도로 잘못 분류될 수 있는가?
• RQ2 이미지 변형에 강인한 최적화로 생성된 공격 예제는 조명 변화, 거리, 카메라 각도 등 다양한 실제 환경 조건에서 얼마나 효과적인가?
• RQ3 실제 이미지 변형 조건에서 제안된 방법과 기존 공격 방법(예: Carlini-Wagner) 간의 비교적 내성과 성공률은 어떻게 되는가?
• RQ4 실제 인쇄된 표지판에 이 공격을 적용할 수 있으며, 주행 테스트 시나리오에서 얼마나 높은 신뢰도로 작동하는가?
• RQ5 무해한 표지판이 고신뢰도 오분류를 유도하지 못하는 정도는 어느 정도이며, 공격 방법은 이러한 제약을 어떻게 극복하는가?

주요 결과

• 테스트 시점에 무작위 변형이 적용되지 않은 가상 환경에서 GTSRB 데이터셋에서 Sign Embedding 공격은 99.07%의 성공률을 기록했다.
• 무작위 이미지 변형 조건에서도 가상 환경에서 95.50%의 성공률을 유지하여 강력한 내성을 입증했다.
• 실제 주행 테스트에서 공격 예제 교통 표지판은 감지된 프레임 전반에서 목표 표지판으로 정확히 분류된 데서 95.74%의 성공률을 기록했다.
• 로고 공격은 물리적 테스트에서 56.60%의 성공률을 기록하여, 공격 예제 교통 표지판만큼은 아니지만 여전히 심각한 위협임을 시사한다.
• 커스텀 심벌 공격은 물리적 테스트에서 95.24%의 성공률을 기록하여, 맞춤형으로 설계된 공격 예제가 매우 효과적일 수 있음을 보여주었다.
• 제안된 방법은 무작위 변형 조건에서 3.6%의 성능 저하율을 보였고, 이는 Carlini-Wagner 방법의 89.75%에 비해 훨씬 뛰어난 내성을 의미한다.