[논문 리뷰] Adversarial Attacks against Deep Saliency Models

Zhaohui Che, Ali Borji외 4명|arXiv (Cornell University)|2019. 04. 02.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 6

한 줄 요약

이 논문은 딥 샐리언시 모델에 대한 첫 번째 희소 특징 공간 적대적 공격을 제안하며, 입력 픽셀이 아닌 중간 특징 맵을 수정함으로써 매우 미세하고 구조적으로 희소한 교란을 생성한다. 이 방법은 수신 영역 크기가 더 큰 더 깊은 층에서 더 높은 공격 성공률를 기록하며, 이미지 공간 대비 공격이 더욱 치밀하고 위험한 성향을 보이며, 시각 시스템에서 사용되는 샐리언시 모델의 심각한 보안 취약점을 드러낸다.

ABSTRACT

Currently, a plethora of saliency models based on deep neural networks have led great breakthroughs in many complex high-level vision tasks (e.g. scene description, object detection). The robustness of these models, however, has not yet been studied. In this paper, we propose a sparse feature-space adversarial attack method against deep saliency models for the first time. The proposed attack only requires a part of the model information, and is able to generate a sparser and more insidious adversarial perturbation, compared to traditional image-space attacks. These adversarial perturbations are so subtle that a human observer cannot notice their presences, but the model outputs will be revolutionized. This phenomenon raises security threats to deep saliency models in practical applications. We also explore some intriguing properties of the feature-space attack, e.g. 1) the hidden layers with bigger receptive fields generate sparser perturbations, 2) the deeper hidden layers achieve higher attack success rates, and 3) different loss functions and different attacked layers will result in diverse perturbations. Experiments indicate that the proposed method is able to successfully attack different model architectures across various image scenes.

연구 동기 및 목표

• 딥 샐리언시 모델의 적대적 공격에 대한 내성적 저항력을 조사하는 것. 이는 고수준 시각 작업에서 널리 사용되고 있음에도 불구하고 아직 탐색되지 않은 분야이다.
• 이미지 공간이 아닌 특징 공간에서 작동하는 새로운 적대적 공격 방법을 개발하여, 더 희소하고 은밀한 교란을 가능하게 하는 것.
• 손실 함수, 네트워크 깊이, 수신 영역 크기, 층 아키텍처가 적대적 교란의 효과성과 구조에 미치는 영향을 분석하는 것.
• 다양한 모델과 공격 유형 간에 적대적 교란의 이동성 및 반대 효과를 평가하는 것.
• 효과적이고 무효한 교란의 핵심 특성을 규명함으로써 향후 방어 기법에 대한 통찰을 제공하는 것.

제안 방법

• 공격은 입력 이미지 픽셀이 아닌 샐리언시 모델의 중간 특징 맵에 대해 교란을 최적화함으로써 특징 공간에서 작동한다.
• 최소화된 시공간 국소화된 교란을 생성하기 위해 희소 정규화 전략을 사용하며, 정규화된 공간에서 채널 당 최대 강도가 0.07 이하가 되도록 한다.
• 공격은 위협 모델에 대한 부분 지식만 필요하며, 아키텍처와 일부 층 파라미터를 알면 충분하여 블랙박스 유사 공격가능하다.
• KL 발산, CC(Pearson 상관계수), L1, NSS 등의 다양한 손실 함수를 사용하여 최적화를 이끌어내며, 다양한 교란 패턴을 생성한다.
• 성공률는 CC 및 기타 샐리언시 평가 지표를 사용하여 다양한 은닉 층에 적용된 공격을 측정한다.
• 이동성 및 반대 효과 평가를 위해 한 모델 또는 손실 유형에서 생성된 교란을 다른 모델에 적용하고, CC 지표를 통해 성능 저하를 평가한다.

실험 결과

연구 질문

• RQ1 딥 샐리언시 모델의 어떤 은닉 층이 특징 공간 적대적 공격에 가장 취약한가? 층 깊이 또는 수신 영역 크기가 공격 성공에 어떤 영향을 미치는가?
• RQ2 특징 공간 교란의 구조적 및 인지적 특성은 전통적인 이미지 공간 적대적 교란과 어떻게 비교되는가?
• RQ3 다양한 손실 함수(KL, CC, L1 등)가 생성된 적대적 교란의 패턴, 희소성 및 효과성에 어떤 영향을 미치는가?
• RQ4 적대적 교란이 다양한 샐리언시 모델 아키텍처 간에 얼마나 이동 가능한가? 서로 다른 모델에서 결합되거나 완화될 경우 어떻게 상호작용하는가?
• RQ5 이미지 공간 교란이 특징 공간 교란을 중화시킬 수 있으며, 그 반대도 가능한가? 이는 공격 패tern의 공통성 또는 차별성을 시사하는가?

주요 결과

• 제안된 특징 공간 공격는 이미지 공간 공격보다 훨씬 더 희소한 교란을 달성하며, 최대 채널 강도가 0.07 이하여 인간 관찰자에게 거의 인지 불가능하다.
• 더 깊은 은닉 층과 더 큰 수신 영역을 가진 층에서 더 희소하고 효과적인 적대적 교란이 생성되며, 더 높은 공격 성공률를 기록한다.
• 공격 성공률는 손실 함수의 선택에 매우 민감하며, KL, CC, L1 손실 함수는 서로 다른 교란 패턴을 생성하여 다른 샐리언시 맵 출력을 유도한다.
• 다른 샐리언시 모델 간의 교란 이동성은 약하며, 심지어 유사한 아키텍처를 가진 모델 간에도 높은 모델 특이성을 보인다.
• 이미지 공간과 특징 공간 공격의 교란은 서로 다른 공간적 구조를 가지며, 이미지 공간 교란은 더 높은 밀도를 가지며 특징 공간 교란을 부분적으로 완화할 수 있지만, 그 반대는 성립하지 않는다.
• 교란의 공간적 구조는 핵심적이다. 교란의 행 또는 열을 무작위로 뒤섞을 경우 공격 효과가 완전히 상실되며, 이는 공간 일관성이 성공에 필수적임을 확인한다.