[논문 리뷰] Saliency Methods for Explaining Adversarial Attacks

Jindong Gu, Volker Tresp|arXiv (Cornell University)|2019. 08. 22.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 21

한 줄 요약

이 논문은 이전의 비의미성 주장에도 불구하고 Guided Backpropagation (GuidedBP) 시각화 맵에 클래스 구분 정보가 포함되어 있음을 규명하고, 이러한 구분 신호를 강화하기 위해 클래스 간 시각화 값을 정규화하는 개선된 방법을 제안한다. 개선된 GuidedBP는 적대적 오분류를 설명하는 데 최신 기술 수준의 성능을 달성하여 잘못된 예측을 유도하는 특징을 강조하며, 정성적 및 정량적 평가에서 기존 방법들을 능가한다.

ABSTRACT

The classification decisions of neural networks can be misled by small imperceptible perturbations. This work aims to explain the misled classifications using saliency methods. The idea behind saliency methods is to explain the classification decisions of neural networks by creating so-called saliency maps. Unfortunately, a number of recent publications have shown that many of the proposed saliency methods do not provide insightful explanations. A prominent example is Guided Backpropagation (GuidedBP), which simply performs (partial) image recovery. However, our numerical analysis shows the saliency maps created by GuidedBP do indeed contain class-discriminative information. We propose a simple and efficient way to enhance the saliency maps. The proposed enhanced GuidedBP shows the state-of-the-art performance to explain adversary classifications.

연구 동기 및 목표

• 딥 네ural 네트워크에서 적대적 오분류에 대한 신뢰할 수 있는 설명 방법의 부족을 해결하기 위해.
• 기존에 GuidedBP가 비구분적 시각화 맵을 생성한다고 주장한 바가 있으나, 비정규화된 기울기 내에 숨겨진 클래스 구분 정보를 입증함으로써 그 주장을 도전하기 위해.
• 적대적 예측을 설명하는 데에 효과적이고 단순한 GuidedBP의 개선 방법을 개발하기 위해.
• 개선된 시각화 맵이 적대적 오분류의 원인 특징을 어떻게 식별하는지 평가하기 위해.
• 시각화 기반의 편향이 적대적 예외에서 모델 성능을 부분적으로 복구시킬 수 있는지 확인하기 위해.

제안 방법

• 이 방법은 GuidedBP 맵 내의 클래스 구분 정보가 표준 정규화에 의해 가림을 받는다는 점을 규명한다. 이 정규화는 클래스 간 시각화 값 범위를 동일하게 만든다.
• 모든 클래스의 평균 활성도 기반으로 시각화 값을 계산하는 정규화 체계를 제안하여 상호 클래스 간 차이를 유지한다.
• 개선된 시각화 맵은 $ \boldsymbol{s}^{m} = \frac{ \text{grad}_{\boldsymbol{x}} f^{m} }{ \text{mean}_{k} ( \text{grad}_{\boldsymbol{x}} f^{k} ) } $로 정의되며, 이때 기울기는 ReLU 필터링을 통한 역전파로 계산된다.
• 정규화 이전에 클래스 간 시각화 값 비교를 통해 분별성을 향상시켜 관련성의 차이를 유지한다.
• 모델 주의가 편향에 의해 어떻게 변화하는지 분석하기 위해 이 방법을 청소된 이미지와 적대적 이미지 양쪽에 적용한다.
• C&W 공격에서 유도된 적대적 예외에 대해 정성적 시각화와 정량적 지표를 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 이전의 비의미성 주장에도 불구하고 GuidedBP 시각화 맵은 클래스 구분 정보를 포함하고 있는가?
• RQ2 기울기 크기의 상호 클래스 간 차이를 유지함으로써 시각화 맵을 개선하여 적대적 오분류를 더 잘 설명할 수 있는가?
• RQ3 기존의 시각화 방법과 비교해 개선된 GuidedBP는 적대적 예측을 설명하는 데 얼마나 효과적인가?
• RQ4 적대적 입력에 대한 시각화 기반의 편향이 모델 성능을 복구시킬 수 있는가?
• RQ5 성공적인 공격(Adv_s)과 실패한 공격(Adv_f)에서 시각화 맵은 각각 어떤 특징을 강조하는가?

주요 결과

• 제안된 개선된 GuidedBP는 잘못된 예측을 유도하는 특징을 강조함으로써 적대적 오분류를 설명하는 능력을 크게 향상시킨다.
• 개선된 GuidedBP의 시각화 맵은 청소된 이미지에서는 정확한 객체 부분(예: 머리)에 주의를 기울이고, 적대적으로 오분류된 이미지에서는 무관한 특징(예: 나비의 날개)에 주의를 기울인다는 것을 명확히 보여준다.
• 이 방법은 적대적 공격 설명에서 최신 기술 수준의 성능을 달성하여 정성적 및 정량적 평가에서 기존의 시각화 방법들을 능가한다.
• 개선된 맵을 기반으로 한 적대적 입력의 시각화 기반 편향은 C&W 공격 예외에서 모델 성능을 유의미하게 복구시킨다.
• 필터링 효과(양의 기울기의 이진 마스크)는 거의 모든 클래스에서 유사하지만, 비정규화된 상태일 때의 시각화 값 차이는 클래스 구분 정보를 드러낸다.
• 성공한 공격(Adv_s)에서는 비관련 특징(예: 울보의 날개)에 집중하는 반면, 실패한 공격(Adv_f)에서는 정확히 목표 객체(예: 머리)를 강조함으로써 이 방법의 적대자 구분 능력이 확인된다.