[논문 리뷰] Adversarial Examples for Semantic Segmentation and Object Detection

Cihang Xie, Jianyu Wang외 4명|arXiv (Cornell University)|2017. 03. 24.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 93

한 줄 요약

본 논문은 Dense Adversary Generation(DAG)을 도입하여 의미 분할 및 객체 탐지를 속이는 거의 지각되지 않는 섭동을 만들어내고, 아키텍처 간 및 과제 간에 강한 전달 가능성을 시연한다.

ABSTRACT

It has been well demonstrated that adversarial examples, i.e., natural images with visually imperceptible perturbations added, generally exist for deep networks to fail on image classification. In this paper, we extend adversarial examples to semantic segmentation and object detection which are much more difficult. Our observation is that both segmentation and detection are based on classifying multiple targets on an image (e.g., the basic target is a pixel or a receptive field in segmentation, and an object proposal in detection), which inspires us to optimize a loss function over a set of pixels/proposals for generating adversarial perturbations. Based on this idea, we propose a novel algorithm named Dense Adversary Generation (DAG), which generates a large family of adversarial examples, and applies to a wide range of state-of-the-art deep networks for segmentation and detection. We also find that the adversarial perturbations can be transferred across networks with different training data, based on different architectures, and even for different recognition tasks. In particular, the transferability across networks with the same architecture is more significant than in other cases. Besides, summing up heterogeneous perturbations often leads to better transfer performance, which provides an effective method of black-box adversarial attack.

연구 동기 및 목표

• 이미지 분류에서 의미 분할 및 객체 탐지로 적대적 예시를 확장한다.
• 여러 대상에 대해 동시에 섭동을 최적화하기 위한 Dense Adversary Generation (DAG)을 제안한다.
• 다른 아키텍처, 학습 데이터, 그리고 과제 간에 섭동이 네트워크 간에 전달되는 것을 보인다.
• 제안 강건성에 영향을 주는 요소들(예: 제안 밀도와 섭동 융합)을 조사한다.

제안 방법

• 타깃 T를 픽셀/수용영역 또는 객체 제안을 대상으로 정의한다.
• 잘못된 클래스의 임의 치환으로 적대적 레이블 L'을 할당한다.
• Minimize a multi-target loss L = sum_n (f_l_n(X,t_n) - f_l'_n(X,t_n)).
• 오분류 대상의 기울기로부터 섭동 r_m을 반복적으로 계산하고 무한 노름으로 정규화한다.
• 이미지 X_m+1 = X_m + r'_m으로 업데이트; 모든 타깃이 잘못 분류되거나 고정된 반복 횟수( segmentation 200, detection 150 ) 후 종료한다.
• 섭동 후 새로운 제안에 대해 DAG를 강건하게 만들기 위해 제안 밀도(IOU 임계값 for NMS)를 증가시킨다.]

실험 결과

연구 질문

• RQ1 세분화의 밀집 표적 집합과 대규모 탐지 파이프라인에서 적대적 섭동을 생성할 수 있는가?
• RQ2 동일/다른 아키텍처, 학습 데이터, 심지어 다른 과제 간에 섭동이 전달되는가?
• RQ3 입력 제안의 밀도가 공격 효과성과 수렴에 얼마나 영향을 미치는가?
• RQ4 여러 모델의 섭동을 결합하는 것이 전달성 및 공격 강도에 어떤 효과를 미치는가?

주요 결과

네트워크	원본	ADVR	PERM
FCN-Alex	48.04	3.98	48.04
FCN-Alex*	48.92	3.98	48.91
FCN-VGG	65.49	4.09	65.47
FCN-VGG*	67.09	4.18	67.08
FR-ZF-07	58.70	3.61	58.33
FR-ZF-0712	61.07	1.95	60.94
FR-VGG-07	69.14	5.92	68.68
FR-VGG-0712	72.07	3.36	71.97

• 섭동 후 세분화의 mIOU와 탐지의 mAP가 급격히 감소한다.
• 더 밀집된 제안 세트(NMS의 더 높은 IOU)가 더 강한 적대적 효과와 느린 수렴을 초래한다.
• 섭동의 지각 가능성은 과제 전반에서 매우 낮게 유지되어 거의 지각되지 않음을 보장한다.
• 동일 아키텍처를 가진 서로 다른 데이터로 학습된 모델 간에는 섭동이 잘 전달되고, 차이가 있는 아키텍처 간에도 어느 정도 전달된다.
• 여러 모델에서 이질적인 섭동을 조합하면 전달성이 크게 향상되어 강력한 블랙박스 공격으로 작용한다.