[논문 리뷰] Attacking Object Detector Using A Universal Targeted Label-Switch Patch

Avishag Shapira, Ron Bitton외 4명|arXiv (Cornell University)|2022. 11. 16.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 YOLO 기반 객체 검출기의 차량을 버스 또는 다른 차량으로 잘못 분류하는 통합형, 타겟 지정형, 레이블 전환 공격 패치를 제안한다. 맞춤형 투영 함수와 새로운 손실 함수를 사용함으로써, 디지털 및 물리적 도메인 모두에서 90% 이상의 성공률을 달성하며, 다양한 차량 부위, 각도, 거리에 적용되어도 효과를 유지한다.

ABSTRACT

Adversarial attacks against deep learning-based object detectors (ODs) have been studied extensively in the past few years. These attacks cause the model to make incorrect predictions by placing a patch containing an adversarial pattern on the target object or anywhere within the frame. However, none of prior research proposed a misclassification attack on ODs, in which the patch is applied on the target object. In this study, we propose a novel, universal, targeted, label-switch attack against the state-of-the-art object detector, YOLO. In our attack, we use (i) a tailored projection function to enable the placement of the adversarial patch on multiple target objects in the image (e.g., cars), each of which may be located a different distance away from the camera or have a different view angle relative to the camera, and (ii) a unique loss function capable of changing the label of the attacked objects. The proposed universal patch, which is trained in the digital domain, is transferable to the physical domain. We performed an extensive evaluation using different types of object detectors, different video streams captured by different cameras, and various target classes, and evaluated different configurations of the adversarial patch in the physical domain.

연구 동기 및 목표

• 실세계 객체 검출 시스템에서 차량을 다른 차량 유형(예: 버스)으로 잘못 분류하는 통합형, 타겟 지정형, 레이블 전환 공격을 개발한다.
• 디지털로 프레임에 삽입하는 것이 아니라 실제 물체(예: 차량의 앞면)에 적용되었을 때도 공격 패치의 효과를 확보한다.
• 실세계(물리적) 배포에서 다양한 거리, 각도, 카메라 시점에서 높은 성공률을 유지할 수 있도록 패치를 설계한다.
• 디지털 도메인에서의 훈련 방법을 개발하여 물리 세계 응용으로의 전이 성능가지 일관성을 확보한다.
• 다양한 차량 유형, 색상, 배치 조건에서도 강력하고 통합된 잘못 분류 성능를 달성하면서, 잡음 감지(이중 탐지)를 최소화한다.

제안 방법

• 다양한 거리, 각도, 차량 형태를 고려하여 장면 내 여러 차량에 공격 패치를 투영하는 맞춤형 투영 함수를 사용하여 실제적인 물체에의 배치를 보장한다.
• 모델이 대상 객체를 출처(차량) 또는 목표(버스) 이외의 클래스로 잘못 분류하는 것을 방지하기 위해 안정적인 훈련을 가능하게 하는 새로운 손실 함수를 설계한다.
• 다양한 시각 조건에서 일반화할 수 있도록 실제 도로 영상 데이터셋을 사용하여 디지털 도메인에서 패치를 훈련한다.
• 객체의 크기, 방향, 프레임 내 위치 변화에 강건한 패치를 최적화하여 물리적 배포로의 전이성을 향상시킨다.
• 다양한 객체 검출기와 비디오 스트림에 효과를 유지하는 통합형 패치 공식을 활용한다.
• 물리적 배포의 유효성을 검증하기 위해 패치를 종이에 인쇄하고 실세계 조명 및 카메라 조건에서 원격 조종 차량에 테스트한다.

실험 결과

연구 질문

• RQ1 디지털 도메인에서 성공적으로 훈련된 통합형 공격 패치가 실세계로 효과적으로 전이되어 차량을 버스로 잘못 분류할 수 있는가?
• RQ2 제안된 투영 함수는 표준 중심 기반 패치 배치 방식에 비해 얼마나 더 뛰어난 강건성과 성공률을 제공하는가?
• RQ3 새로운 손실 함수는 표호 전환 과정 중 발산을 방지하고 훈련을 얼마나 안정화시키는가?
• RQ4 물리적 도메인에서 차량의 다른 부위(예: 앞면, 뒷면, 문)나 변형된 형태로 적용했을 때 패치의 성능는 어떠한가?
• RQ5 다양한 객체 검출기와 다양한 카메라가 촬영한 비디오 스트림 간에 패치의 전이성은 어느 정도인가?

주요 결과

• 패치는 물리적 도메인에서 장난감 차량을 '차량'에서 '버스'로 잘못 분류하는 데 95.9%의 성공률을 기록했으며, 이중 탐지 비율은 7.5%에 그쳤다.
• 실차량에 적용했을 때 '버스'에 대해 94.6%의 성공률, '트럭'에 대해 88.9%의 성공률로 다양한 목표 클래스에서도 높은 효과를 유지했다.
• 트렁크에 부착했을 경우 83%의 성공률, 문에 부착했을 경우 94.2%의 성공률를 기록하여 배치 위치 변화에 대한 강건성을 입증했다.
• 패치를 좁은 직사각형 형태로 재구성했을 경우 성능이 72.6%로 감소하여 형태 일관성이 최적 성능을 위해 필수적임을 보여주었다.
• 제거 분석 결과, IoU 기반 후보 선택을 사용할 경우 성공률가 55.3%에서 94.6%로 상승하여 훈련 과정에서의 중요성을 입증했다.
• 투영 함수는 표준 중심 기반 배치 방식에 비해 뚜렷한 성능 향상을 보였으며, 성공률는 68.6–70.1%에서 제안된 방법은 95.9%에 도달했다.