[논문 리뷰] NO Need to Worry about Adversarial Examples in Object Detection in Autonomous Vehicles

Jiajun Lu, Hussein Sibai외 2명|arXiv (Cornell University)|2017. 07. 12.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 209

한 줄 요약

이 논문은 물리적 적대적 교란이 자율주행 차량에서 다양한 시야 거리와 각도에 걸쳐 객체 탐지기를 일관되게 속이지 못한다고 주장한다.

ABSTRACT

It has been shown that most machine learning algorithms are susceptible to adversarial perturbations. Slightly perturbing an image in a carefully chosen direction in the image space may cause a trained neural network model to misclassify it. Recently, it was shown that physical adversarial examples exist: printing perturbed images then taking pictures of them would still result in misclassification. This raises security and safety concerns. However, these experiments ignore a crucial property of physical objects: the camera can view objects from different distances and at different angles. In this paper, we show experiments that suggest that current constructions of physical adversarial examples do not disrupt object detection from a moving platform. Instead, a trained neural network classifies most of the pictures taken from different distances and angles of a perturbed image correctly. We believe this is because the adversarial property of the perturbation is sensitive to the scale at which the perturbed picture is viewed, so (for example) an autonomous car will misclassify a stop sign only from a small range of distances. Our work raises an important question: can one construct examples that are adversarial for many or most viewing conditions? If so, the construction should offer very significant insights into the internal representation of patterns by deep networks. If not, there is a good prospect that adversarial examples can be reduced to a curiosity with little practical impact.

연구 동기 및 목표

• 물리적 적대적 예제가 자율주행에서 객체 탐지기에게 위협이 되는지 여부를 동기 부여하고 정량화합니다.
• 분류기에서 YOLO와 같은 탐지기로 적대적 공격을 확장합니다.
• 거리와 시야 각도가 물리적 교란의 효과에 어떤 영향을 미치는지 평가합니다.

제안 방법

• 교통 표지판 분류기와 YOLO 탐지기에 대해 fast sign, iterative, 및 L-BFGS 적대적 공격을 적용합니다.
• 적대적 정지 표지 이미지를 생성하고 인쇄합니다; 여러 거리와 각도에서 사진을 캡처하여 주행을 시뮬레이션합니다.
• 변환(인쇄 및 재촬영) 후에도 적대적 예제가 여전히 적대적으로 남아 있는지 파괴 비율로 측정합니다.
• 0.5 m 및 1.5 m에서 인쇄 표지를 사용한 제어된 실험과 실제 주행 시나리오를 통해 탐지기와 분류기 강건성을 평가합니다.

실험 결과

연구 질문

• RQ1 시야 거리와 각도가 바뀌었을 때 물리적 적대적 교란이 객체 탐지기(예: YOLO)에 대해 여전히 효과적입니까?
• RQ2 거리 가 적대적 교란의 파괴율에 어떤 영향을 줍니까? 탐지기와 분류기 작업에서 쿼리 다른가요?
• RQ3 물리적 세계 조건에서 탐지기에 맞춘 적대적 교란이 분류기로 전달되거나 분류기에 대해 지속될 수 있나요?
• RQ4 거리와 각도 효과가 자율주행 안전에 주는 실용적 시사점은 무엇인가요?

주요 결과

• 다양한 거리에서도 물리적 적대적 교란이 YOLO 탐지를 크게 속이지 못하며 파괴율은 거리에 따라 증가합니다.
• 탐지기 측에서 많은 교란 표지는 0.5 m에서는 정확히 탐지되고 1.5 m에서 특히 더 그렇습니다. 이는 적대적 생성에도 불구하고입니다.
• 분류기 공격은 더 큰 거리에서 파괴가 더 많이 나타나며 방법별로 효과가 다릅니다(Iterative 및 LBFGS가 Fast Sign보다 일반적으로 더 악영향을 주지만 거리와 함께 악화됩니다).
• 자르기 및 배경 맥락은 탐지 결과에 영향을 미칠 수 있으며, 인쇄된 테스트에서 대조 배경이 더 높은 경우 탐지 성능이 향상되기도 합니다.
• 촬영 각도는 적대적 효율성에 영향을 줄 수 있어 실제 환경의 시각 조건이 신뢰할 수 있는 적대적 효과를 감소시킵니다.