[논문 리뷰] Adversarial Examples that Fool Detectors

Jiajun Lu, Hussein Sibai외 1명|arXiv (Cornell University)|2017. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 105

한 줄 요약

이 논문은 Faster RCNN과 YOLO 탐지기를 속이는 적대적 예제들을 디지털 및 물리적으로 시연하고, 시각 조건 및 방어에 따른 일반화를 분석한다.

ABSTRACT

An adversarial example is an example that has been adjusted to produce a wrong label when presented to a system at test time. To date, adversarial example constructions have been demonstrated for classifiers, but not for detectors. If adversarial examples that could fool a detector exist, they could be used to (for example) maliciously create security hazards on roads populated with smart vehicles. In this paper, we demonstrate a construction that successfully fools two standard detectors, Faster RCNN and YOLO. The existence of such examples is surprising, as attacking a classifier is very different from attacking a detector, and that the structure of detectors - which must search for their own bounding box, and which cannot estimate that box very accurately - makes it quite likely that adversarial patterns are strongly disrupted. We show that our construction produces adversarial examples that generalize well across sequences digitally, even though large perturbations are needed. We also show that our construction yields physical objects that are adversarial.

연구 동기 및 목표

• 자율 시스템의 실제 안전 이슈로 인해 탐지기용 적대적 예제 연구를 분류기용 연구에 국한하지 않고 촉진한다.
• 적대적 패턴이 두 개의 표준 탐지기 (Faster RCNN과 YOLO) 를 속일 수 있으며 모델 간에 전달될 수 있음을 입증한다.
• 시야 조건 간 및 디지털에서 물리적 도메인으로의 확장까지 적대적 섭동의 일반화를 조사한다.
• 간단한 방어 기법이 탐지기 대상의 적대적 공격을 완화할 수 있는지 평가한다.
• 정지 표지판과 얼굴에 대한 국소적 교란과 전역적 교란의 실용성을 평가한다.

제안 방법

• 탐지기를 속이는 객체(정지 표지판 및 얼굴)에 대한 적대적 텍스처를 생성하기 위해 등록 및 재구성 기반 방법을 개발한다.
• 객체를 루트 좌표계로 표현하고 시야 매핑 및 조명 조정을 통해 학습 프레임에 매핑한다.
• 여러 프레임에 걸쳐 탐지기의 정지 표지판 또는 얼굴 점수를 최소화하도록 적대적 텍스처 T를 최적화하며, 부호화된 그래디언트를 이용한 기울기 기반 업데이트를 수행한다.
• 변동이 원래 객체와 시각적으로 비슷하도록 L2 거리 제약 조건을 부과하여 변조 패턴에 영향을 준다.
• 물리적 적대적 텍스처를 인쇄하여 실제 물체에 부착해 실제 조건에서의 견고함을 테스트한다.
• YOLO에 대해 적대적 정지 표지판과 얼굴을 평가하여 전달 가능성을 테스트하고 디지털 및 물리적 일반화를 검증한다.

실험 결과

연구 질문

• RQ1 적대적 섭동이 Faster RCNN 및 YOLO와 같은 탐지기를 속일 수 있는가?
• RQ2 적대적 패턴이 탐지기 간에 전달되며 서로 다른 시야 조건에서도 효과가 유지되는가?
• RQ3 물리적 적대적 예제가 실현 가능하며 프린트 및 조명과 같은 실제 조건에서도 생존하는가?
• RQ4 섭동 규모가 공격 성공 및 일반화에 미치는 영향은 무엇인가?
• RQ5 간단한 방어 기법이 탐지기 대상의 적대적 공격에 효과적인가?

주요 결과

• 적대적 패턴은 디지털 이미지에서 Faster RCNN를 속일 수 있으며, 정지 표지판과 얼굴의 누락 또는 잘못 라벨링을 야기하는 공격들이다.
• 공격은 디지털상에서 시야 조건에 걸쳐 일반화되고, 같은 구성은 특정 배경에서 특히 YOLO로 전달된다.
• 물리적 적대적 정지 표지판과 얼굴은 적절한 상황에서 탐지기를 속일 수 있으나 디지털 공격에 비해 더 큰 섭동이 필요한 경우가 많다.
• 일부 경우에 탐지기는 박스 예측 단계와 임계값으로 인해 탄력성을 보이고, 다운샘플링이나 노이즈 제거와 같은 간단한 방어는 디지털 또는 물리적으로 일반화된 공격을 신뢰성 있게 차단하지 못한다.
• 작은 영역에 국한된 국소적 섭동은 전역적 섭동에 비해 일반화 가능한 탐지 공격에 덜 효과적이며, 특히 물리적 세계에서 그렇다.
• 데이터셋 간에 Faster RCNN에서 YOLO로의 일반화가 보편적이지는 않으며, 사용된 탐지기와 그 일반화 능력이 공격 성공에 강하게 영향을 준다.