[논문 리뷰] Fooling a Real Car with Adversarial Traffic Signs

Nir Morgulis, Alexander Kreines외 2명|arXiv (Cornell University)|2019. 06. 30.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 19

한 줄 요약

이 논문은 실제 도로 환경에서 오픈소스 및 프로덕션 수준의 신경망 분류기 모두를 성공적으로 속이는 광범위하게 적용 가능한 악성 트래픽 신호 생성 파이프라인을 제시한다. 강력하고 이식 가능한 공격 방법을 사용하여 저자들은 실제 자동차의 트래픽 신호 인식 시스템에서 블랙박스 성공을 입증하였으며, 물리적 악성 신호가 최신 시각 시스템을 고도로 신뢰성 있게 우회할 수 있음을 보여준다.

ABSTRACT

The attacks on the neural-network-based classifiers using adversarial images have gained a lot of attention recently. An adversary can purposely generate an image that is indistinguishable from a innocent image for a human being but is incorrectly classified by the neural networks. The adversarial images do not need to be tuned to a particular architecture of the classifier - an image that fools one network can fool another one with a certain success rate.The published works mostly concentrate on the use of modified image files for attacks against the classifiers trained on the model databases. Although there exists a general understanding that such attacks can be carried in the real world as well, the works considering the real-world attacks are scarce. Moreover, to the best of our knowledge, there have been no reports on the attacks against real production-grade image classification systems.In our work we present a robust pipeline for reproducible production of adversarial traffic signs that can fool a wide range of classifiers, both open-source and production-grade in the real world. The efficiency of the attacks was checked both with the neural-network-based classifiers and legacy computer vision systems. Most of the attacks have been performed in the black-box mode, e.g. the adversarial signs produced for a particular classifier were used to attack a variety of other classifiers. The efficiency was confirmed in drive-by experiments with a production-grade traffic sign recognition systems of a real car.

연구 동기 및 목표

• 실제 도로 환경의 분류기들을 속이는 재현 가능하고 강력한 파이프라인을 개발하기 위해.
• 다양한 분류기, 특히 오픈소스 및 프로덕션 수준의 시스템 간에 악성 신호의 이식성 평가하기 위해.
• 프로덕션 수준 차량의 트래픽 신호 인식 시스템을 사용하여 실제 주행 환경에서 악성 공격의 효과성 검증하기 위해.
• 대상 모델의 아키텍처나 하이퍼파라미터에 대한 정보 없이도 블랙박스 환경에서 악성 예제가 효과적임을 입증하기 위해.
• 이론적 악성 예제와 자율주행 차량 인식 시스템에 대한 실제 물리적 공격 사이의 격차를 메우기 위해.

제안 방법

• 저자들은 실제 인쇄 및 시각 조건을 시뮬레이션하는 가분리 렲링 파이프라인을 사용하여 악성 트래픽 신호를 설계한다.
• 원본 신호와의 시각적 차이를 최소화하면서 오분류를 극대화하는 손실 함수를 사용하여 악성 편향을 최적화한다.
• 공격은 블랙박스 설정에서 수행되며, 악성 신호는 대체 모델을 기반으로 생성된 후 미리 보지 않은 대상 모델에서 테스트된다.
• 최적화 중에 가분리 렌더러를 통합하여 조명, 시점, 카메라 블러와 같은 물리적 왜곡을 고려한다.
• 실제 차량에 탑재된 프로덕션 수준의 트래픽 신호 인식 시스템을 대상으로 드라이브바이 실험을 통해 방법을 검증한다.
• 다양한 유형의 분류기에서 공격의 강건성을 평가하기 위해 딥러닝과 전통적인 컴퓨터 비전 기법의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 악성 트래픽 신호는 실제 세계에서 안정적으로 생성되고 배포되어 실제 자동차 인식 시스템을 속일 수 있는가?
• RQ2 대상 모델이 알려지지 않거나 기밀일 경우, 악성 신호가 블랙박스 환경에서 얼마나 효과적인가?
• RQ3 악성 신호는 다양한 신경망 아키텍처와 구형 컴퓨터 비전 시스템 간에 얼마나 잘 이식되는가?
• RQ4 실제 주행 환경에서 악성 공격의 성공률에 영향을 주는 물리적 및 환경적 요소는 무엇인가?
• RQ5 한 개의 악성 신호가 동시에 오픈소스 및 프로덕션 수준의 트래픽 신호 인식 시스템을 속일 수 있는가?

주요 결과

• 드라이브바이 실험에서 실제 차량의 프로덕션 수준 트래픽 신호 인식 시스템을 속이는 데 악성 신호가 90% 이상의 성공률을 기록하였다.
• 공격는 강력한 이식성을 보였으며, 딥러닝 모델과 전통적 컴퓨터 비전 시스템을 포함한 여러 분류기들을 성공적으로 속였다.
• 변동하는 조도, 카메라 각도, 이미지 블러와 같은 실제 환경 조건에서도 공격가 효과성을 유지하였다.
• 악성 신호는 인간 관찰자에게 정상 신호와 시각적으로 구별되지 않아 침투성의 확인이 되었다.
• 대상 모델의 아키텍처나 하이퍼파라미터에 대한 지식 없이도 공격가 효과적이었으며, 이는 블랙박스 가능성의 확인이었다.
• 결과적으로 물리적 악성 예제가 실제 자율주행 차량 인식 시스템을 악성 공격에 취약하게 만들 수 있음을 검증하였다.