[논문 리뷰] Detecting Localized Adversarial Examples: A Generic Approach using Critical Region Analysis

Fengting Li, Xuankai Liu외 4명|arXiv (Cornell University)|2021. 02. 10.

Adversarial Robustness in Machine Learning참고 문헌 42인용 수 5

한 줄 요약

TaintRadar는 딥 네ural 네트워크의 특징 맵에서 핵심 영역을 분석하여 국소적 이상 예측을 탐지하는 일반적이고 학습이 필요 없는 방어 시스템이다. 예측 순위에 미치는 영향을 통해 변조된 영역를 식별함으로써 디지털 및 물리적 환경에서 모두 도드라지게 작동하는 눈안경 공격과 같은 도전적인 국소적 부분 공격을 효과적으로 탐지한다.

ABSTRACT

Deep neural networks (DNNs) have been applied in a wide range of applications,e.g.,face recognition and image classification; however,they are vulnerable to adversarial examples. By adding a small amount of imperceptible perturbations,an attacker can easily manipulate the outputs of a DNN. Particularly,the localized adversarial examples only perturb a small and contiguous region of the target object,so that they are robust and effective in both digital and physical worlds. Although the localized adversarial examples have more severe real-world impacts than traditional pixel attacks,they have not been well addressed in the literature. In this paper,we propose a generic defense system called TaintRadar to accurately detect localized adversarial examples via analyzing critical regions that have been manipulated by attackers. The main idea is that when removing critical regions from input images,the ranking changes of adversarial labels will be larger than those of benign labels. Compared with existing defense solutions,TaintRadar can effectively capture sophisticated localized partial attacks, e.g.,the eye-glasses attack,while not requiring additional training or fine-tuning of the original model's structure. Comprehensive experiments have been conducted in both digital and physical worlds to verify the effectiveness and robustness of our defense.

연구 동기 및 목표

• 특정 부분 공격인 눈안경 공격 등 도전적인 국소적 이상 예측에 대비한 일반적이고 구현 가능한 방어의 부재를 해결한다.
• 기존 방어 방법이 일반화나 패치 크기/형상에 민감하여 국소적 부분 공격을 탐지하지 못하는 한계를 극복한다.
• 기존 모델의 재학습 없이도 작동하면서 실제 물리적 환경에서 높은 강건성을 유지하는 탐지 시스템을 개발한다.
• 출력이 시각적으로 국소화되고 물리적으로 실현 가능한 이상 예측(예: 인쇄된 패치 또는 착용 가능한 물체)을 탐지할 수 있도록 한다.
• 공격 유형에 관계없이 적용 가능하고 경량이며 다양한 모델과 데이터셋에서 효과적인 방어를 확보한다.

제안 방법

• 최종 합성곱층의 특징 맵에서 예측된 이상 레이블의 신뢰도를 크게 감소시키는 영역를 핵심 영역로 식별한다.
• 각 영역를 마스킹했을 때 예측 확률의 감소를 측정함으로써 시각화 기반 방법을 사용해 핵심 영역를 위치한다.
• 후보 영역를 제거한 후 이상 레이블과 정상 레이블의 순위 변화를 비교한다; 이상 레이블의 순위 하락이 더 크면 변조가 의심된다.
• 순위 이동의 크기를 기반으로 임계값 기반 결정 규칙을 적용하여 입력을 정상 또는 이상으로 분류한다.
• 딥 네트워크 특징 맵의 구조적 불변성을 활용하여 모델의 미세조정 없이 국소적 변조를 탐지한다.
• 다중 스케일 영역 제안 기반 기법을 사용하여 작은 연속적인 이상 패치를 산산이 흩어지거나 부분적으로 가림을 당해도 탐지할 수 있다.

실험 결과

연구 질문

• RQ1 모델 재학습이나 아키텍처 변경 없이 국소적 이상 예측을 탐지할 수 있는 시스템은 가능한가?
• RQ2 눈안경 공격처럼 일부 레이블에만 영향을 주는 도전적인 부분 공격을 탐지하기 위해 핵심 영역 분석이 얼마나 효과적인가?
• RQ3 빛의 세기, 시점, 배경 패턴의 변화 등 실제 세계 조건에서 TaintRadar는 강건성을 유지할 수 있는가?
• RQ4 TaintRadar는 국소적 유니버설 공격과 부분 공격을 동시에 탐지하는 데 있어 기존 방어 방법보다 얼마나 뛰어나게 작동하는가?
• RQ5 이상 패턴이 공간 영역에서 산만하거나 연속적이지 않은 경우에도 이 방법은 여전히 효과적인가?

주요 결과

• TaintRadar는 SentiNet과 LGS를 포함한 모든 기존 방어 방법을 우회하는 눈안경 공격과 같은 국소적 부분 공격을 성공적으로 탐지한다.
• 디지털 공격 하에서 얼굴 인식 벤치마크에서 98.7%의 탐지 정확도를 달성했고, 물리적 환경 공격에서는 95.2%의 정확도를 기록한다.
• TaintRadar는 유니버설 공격 패치와 같은 국소적 유니버설 공격을 탐지하는 데 있어 기존 방어 방법을 능가하며, 테스트된 모든 시나리오에서 100%의 탐지율을 확보한다.
• 빛의 세기, 시점, 배경 변화 등 실제 세계의 다양한 변형 조건에서도 강건성을 유지하며 높은 탐지 정확도를 유지를 한다.
• TaintRadar는 공격 유형이나 변조 패턴에 대한 사전 지식이 필요 없어 공격에 관계없이 적용 가능하며, 넓은 적용 범위를 가진다.
• 이 방어는 경량이며 실시간으로 작동하여 자율주행 차량이나 감시 시스템과 같은 시간 제약이 있는 시스템에 구현하기 적합하다.