[논문 리뷰] Heat and Blur: An Effective and Fast Defense Against Adversarial Examples

Haya Brama, Tal Grinshpoun|arXiv (Cornell University)|2020. 03. 17.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 레이어별 중요도 전파(LRP)를 활용해 중요도 히트맵을 생성하고, 이를 통해 적대적 예측을 방지하는 빠르고 아키텍처에 종속되지 않는 새로운 방식의 방어 기법을 제안한다. 이 히트맵은 입력 전처리 과정에서 흐림 처리를 통해 적대적 편향을 손상시키면서도 의미적 정보는 유지하도록 이끈다. VGG19를 사용해 ImageNet에서 강력한 내성 확보를 달성했으며, 편향이 낮은 활동 영역에 제한된 경우 공격 성공률가 99% 이상에서 실패한다.

ABSTRACT

The growing incorporation of artificial neural networks (NNs) into many fields, and especially into life-critical systems, is restrained by their vulnerability to adversarial examples (AEs). Some existing defense methods can increase NNs' robustness, but they often require special architecture or training procedures and are irrelevant to already trained models. In this paper, we propose a simple defense that combines feature visualization with input modification, and can, therefore, be applicable to various pre-trained networks. By reviewing several interpretability methods, we gain new insights regarding the influence of AEs on NNs' computation. Based on that, we hypothesize that information about the "true" object is preserved within the NN's activity, even when the input is adversarial, and present a feature visualization version that can extract that information in the form of relevance heatmaps. We then use these heatmaps as a basis for our defense, in which the adversarial effects are corrupted by massive blurring. We also provide a new evaluation metric that can capture the effects of both attacks and defenses more thoroughly and descriptively, and demonstrate the effectiveness of the defense and the utility of the suggested evaluation measurement with VGG19 results on the ImageNet dataset.

연구 동기 및 목표

• 기본 신경망 아키텍처나 훈련 과정의 수정 없이도 효과적이고 신속하며 기존에 훈련된 신경망에 적용 가능한 적대적 예측에 대한 방어 기법을 개발하는 것.
• LRP를 통해 신경망의 해석 가능성에 대해 탐구하여 적대적 예측이 모델 결정에 미치는 영향을 이해하는 것.
• 특징 시각화를 활용해 의미적으로 관련된 영역를 식별하고 유지하면서 미세한 적대적 노이즈를 제거하는 방어 기법을 설계하는 것.
• 공격과 방어가 모델 행동에 미치는 영향을 더 구체적으로 반영할 수 있는 새로운 평가 지표를 도입하는 것.

제안 방법

• 방어 기법은 레이어별 중요도 전파(LRP)를 사용해 네트워크 예측에 가장 영향을 미치는 입력 특징을 강조하는 픽셀 단위 중요도 히트맵을 생성한다.
• 중요도 점수 상위 5% 픽셀이 주요 객체 영역으로 식별되어 입력 전처리 과정에서 유지된다.
• 나머지 95% 픽셀에 대해 가우시안 블러를 적용하여 적대적 편향을 손상시키면서도 의미적 정보는 유지한다.
• 방어는 추론 시점에 적용되며 재훈련이나 아키텍처 변경이 필요 없어 사전 훈련된 모델과 호환된다.
• 히트맵 마스크를 활용해 편향 배치를 이끌어내는 데 목적이 있는 적응형 공격 알고리즘을 제안한다.
• 공격 및 방어의 영향을 내성과 정상 정확도 측면에서 정량화하는 새로운 지표를 사용해 방어 기법을 평가한다.

실험 결과

연구 질문

• RQ1 LRP와 같은 해석 가능성 기법이 입력이 훼손된 상태에서도 의미적으로 유지되는 정보를 드러낼 수 있는가?
• RQ2 LRP 히트맵 기반의 방어 기법이 재훈련이나 아키텍처 변경 없이도 적대적 공격의 성공률을 효과적으로 낮출 수 있는가?
• RQ3 LRP 히트맵 기반으로 중요도가 낮은 영역을 흐림 처리할 경우 사전 훈련된 모델의 내성에 어떤 영향을 미치는가?
• RQ4 LRP가 식별한 가장 중요한 이미지 영역에만 편향을 가하는 경우, 적대적 공격의 실패 정도는 어느 정도인가?
• RQ5 기존 정확도 지표보다 공격 및 방어의 미세한 영향을 더 잘 반영할 수 있는 새로운 평가 지표는 얼마나 효과적인가?

주요 결과

• 공격이 LRP가 식별한 상위 5% 중요도 픽셀 영역에만 편향을 가하는 것으로 제한된 경우, 성공적인 적대적 예측 생성 성공률가 1% 미만으로 떨어졌다.
• 제한 조건 하에서 성공적으로 생성된 적대적 예측는 낮은 신뢰도로 잘못 분류되었으며, 의미적으로 관련된 클래스로 분류되어 공격의 효과성이 제한됨을 시사했다.
• 제안된 평가 지표는 기존 정확도 지표보다 공격 및 방어 성능의 분석을 더 구체적이고 종합적으로 반영했다.
• 사전 훈련된 VGG19 모델을 사용해 ImageNet에서 강력한 내성을 확보했으며, 추론 과정에서 최소한의 계산 오버헤드를 보였다.
• 공격자가 히트맵 가이드 영역를 적응적으로 공격하더라도 방어 기법이 여전히 효과를 유지해, 적응형 공격 전략에 대한 저항력을 보였다.
• 이 연구는 LRP와 같은 해석 가능성 기법이 설명 외에도 방어 목적으로도 재사용될 수 있음을 시사하며, 내성 확보의 새로운 패러다임을 제시한다.