[논문 리뷰] Exploring the Vulnerability of Single Shot Module in Object Detectors via Imperceptible Background Patches

Yuezun Li, Xiao Bian외 2명|arXiv (Cornell University)|2018. 09. 16.

Adversarial Robustness in Machine Learning참고 문헌 34인용 수 16

한 줄 요약

이 논문은 배경에 미세한 패치를 부착하여 Single Shot Module (SSM)를 공격하는 새로운 적대적 공격 방법을 제안한다. 이는 SSM의 넓은 수신장과 결합되어 인식 성능을 심각하게 떨어뜨린다. 진짜 양성의 점수를 낮추고, 정위치 추정을 손상시키며, 가짜 양성 수를 늘림으로써, MS COCO 2014에서 13개의 최신 기술 객체 검출기에서 성능을 극도로 악화시키며, 작은 배경 패치를 멀리 떨어져도 효과를 발휘한다.

ABSTRACT

Recent works succeeded to generate adversarial perturbations on the entire image or the object of interests to corrupt CNN based object detectors. In this paper, we focus on exploring the vulnerability of the Single Shot Module (SSM) commonly used in recent object detectors, by adding small perturbations to patches in the background outside the object. The SSM is referred to the Region Proposal Network used in a two-stage object detector or the single-stage object detector itself. The SSM is typically a fully convolutional neural network which generates output in a single forward pass. Due to the excessive convolutions used in SSM, the actual receptive field is larger than the object itself. As such, we propose a novel method to corrupt object detectors by generating imperceptible patches only in the background. Our method can find a few background patches for perturbation, which can effectively decrease true positives and dramatically increase false positives. Efficacy is demonstrated on 5 two-stage object detectors and 8 single-stage object detectors on the MS COCO 2014 dataset. Results indicate that perturbations with small distortions outside the bounding box of object region can still severely damage the detection performance.

연구 동기 및 목표

• 배경 패치에만 인식할 수 없는 적대적 흐트러짐이 객체 검출기 성능을 심각하게 떨어뜨릴 수 있는지 조사하는 것.
• 이중 및 단일 단계 검출기에서 SSM의 미처 탐색되지 않은 취약점을 배경 기반 공격로 해결하는 것.
• 진짜 양성 점수를 낮추고 가짜 양성 수를 늘림으로써 검출을 방해하는 효과적인 배경 패치를 생성하기 위한 최적화 기반 방법 개발.
• 패치와 객체 간 거리와 객체 크기가 공격 효과에 미치는 영향을 평가하는 것.
• 흐트러짐이 객체의 바운딩 박스 외부에 있어도 SSM 출력이 손상될 수 있음을 보여주는 것.

제안 방법

• 진짜 양성 클래스(TPC), 진짜 양성 형태(TPS), 가짜 양성 클래스(FPC) 손실을 조합한 복합 손실을 최소화하는 최적화 문제로 배경 패치 생성을 수립한다.
• TPC 손실은 정확한 검출의 분류 점수를 낮추며, TPS 손실은 형태 오프셋 회귀를 악화시켜 정위치 추정을 손상시킨다.
• FPC 손실은 배경에서 배경 외 클래스의 점수를 높여 가짜 양성을 유도한다.
• 반복적 기울기 하강법을 사용해 패치의 픽셀 값, 위치, 형태를 최적화하여 공격 영향을 극대화한다.
• 이 방법은 RPN을 통해 이중 단계 검출기와 단일 단계 검출기에 모두 적용되며, SSM을 공격 대상 모듈로 간주한다.
• 실험은 MS COCO 2014에서 수행되며, 다양한 거리, 객체 크기, 검출기 아키텍처에서 공격 효과를 평가한다.

실험 결과

연구 질문

• RQ1 배경에 있는 인식할 수 없는 적대적 패치가 객체 검출기의 Single Shot Module(SSM) 성능을 심각하게 떨어뜨릴 수 있는가?
• RQ2 배경 패치와 객체 간 거리가 공격 성공에 어떤 영향을 미치는가?
• RQ3 객체 크기가 SSM이 배경 패치 공격에 취약한 정도에 영향을 미치는가?
• RQ4 여러 개의 근접한 객체를 방해하기 위해 몇 개의 배경 패치가 필요한가? 그리고 객체 간 거리가 줄어들면 패치 수가 감소하는가?
• RQ5 공격이 동시에 진짜 양성 수를 줄이고 가짜 양성 수를 늘려 검출 순위를 손상시킬 수 있는가?

주요 결과

• 배경 패치 공격은 MS COCO 2014에서 mAP를 심각하게 감소시키며, 소형 객체(SG_1)를 공격할 경우 FR-rn50는 mAP@0.5에서 최대 64.3% 감소하고, FR-rn152는 60.7% 감소한다.
• 배경에서의 가짜 양성 점수가 크게 증가했으며, FPC 손실이 가짜 검출을 진짜 양성보다 순위를 높이는 데 기여했다.
• 패치와 객체 간 거리가 증가할수록 공격 효과가 감소하며, 수신장의 역할을 확인했으며, 거리가 0.2에서 0.6으로 증가함에 따라 성능이 떨어졌다.
• 작은 객체(SG_1)는 더 큰 객체(SG_4)보다 더 취약하며, FR-rn50에서 소형 객체의 검출 성능 감소 비율은 64.3%에 달했고, 대형 객체는 43.2%였다.
• 객체가 더 가까이 있을수록(평균 거리가 낮을수록) 필요한 패치 수가 줄었으며, 가장 가까운 그룹(DG_5)에서는 1.22개의 패치로도 충분했으며, 이는 수신장이 겹치는 영향을 반영한다.
• 패치가 객체에서 멀리 떨어져 있어도 공격이 효과를 유지하며, SSM이 넓은 수신장을 지녀 먼 배경 영역의 맥락적 간섭에 취약하다는 점을 보여준다.