[논문 리뷰] On the Connection Between Adversarial Robustness and Saliency Map Interpretability

Christian Etmann, Sebastian Lunz외 2명|arXiv (Cornell University)|2019. 05. 10.

Adversarial Robustness in Machine Learning인용 수 32

한 줄 요약

본 논문은 입력-그래디언트 정렬을 통한 적대적 강건성과 saliency 맵 해석 가능성의 이론적 연결을 제시하고, 로컬 Lipschitz 정규화를 적용한 MNIST와 ImageNet에서 이 관계를 실험적으로 입증하며, 선형성이 더 강해질수록 연결이 더 촘촘해지는 것을 보인다.

ABSTRACT

Recent studies on the adversarial vulnerability of neural networks have shown that models trained to be more robust to adversarial attacks exhibit more interpretable saliency maps than their non-robust counterparts. We aim to quantify this behavior by considering the alignment between input image and saliency map. We hypothesize that as the distance to the decision boundary grows,so does the alignment. This connection is strictly true in the case of linear models. We confirm these theoretical findings with experiments based on models trained with a local Lipschitz regularization and identify where the non-linear nature of neural networks weakens the relation.

연구 동기 및 목표

• 뉴럴 네트워크의 적대적 노이즈에 대한 강건성과 saliency 맵 해석 가능성 사이의 관찰된 연결을 동기 부여하고 정량화한다.
• 강건성이 증가함에 따라 입력 이미지와 saliency 맵의 정렬을 특징화한다.
• 선형 및 비선형(신경망) 설정에서 강건성과 정렬 사이를 연결하는 이론적 도구를 개발한다.
• 표준 데이터셋에서 로컬 Lipschitz 연속성을 증가시키는 정규화가 정렬과 강건성에 어떤 영향을 미치는지 평가한다.

제안 방법

• 적대적 강건성을 분류기의 결정을 바꾸는 가장 가까운 교란까지의 거리로 정의한다.
• 입력 x와 saliency 맵 ∇Ψ(x) 사이의 정렬을 α(x)=|⟨x,∇Ψ(x)⟩|/||∇Ψ(x)||로 도입한다.
• 선형 및 양의 1-동질 점수 함수에 대해 선형화된 강건성은 이진화된 정렬(ρ̃(x)=α†(x))와 같다.
• 신경망을 선형화된 항과 잔여 항의 동형 분해로 표현하고(정리 2, 3), 강건성과 정렬 사이의 관계를 연관시키는 경계값을 도출한다.
• 실제 강건성 ρ(x)를 선형화된 강건성 ρ̃(x)와 관련시키기 위해 국소적으로 유사한(조각별 선형) 근사를 사용한다.
• 로컬 백프로파게이션을 통해 네트워크를 학습시켜 로컬 Lipschitz 상수를 페널티하고 강대응 강건성을 가진 모델을 생성한다(λ-정규화).

실험 결과

연구 질문

• RQ1 강건성이 증가하면 입력 이미지와 saliency 맵 사이의 정렬이 더 높아지는가?
• RQ2 선형화된(국소적) 근사가 신경망의 강건성과 정렬 간의 관계를 어떻게 설명하는가?
• RQ3 실제 네트워크의 비선형성(예: ImageNet)은 MNIST과 비교하여 강건성-정렬 연결에 어떤 영향을 미치는가?
• RQ4 동형성 및 잔여 부분으로의 분해가 강건성과 saliency 정렬을 어떻게 경계하고 해석하는 데 도움이 되는가?
• RQ5 데이터셋 간에 로컬 상수 편향항이 강건성-정렬 연결에 어떤 역할을 하는가?

주요 결과

• ImageNet에서 더 강건한 모델은 입력과 saliency 맵 사이의 정렬이 더 높은 경향을 보이며, 모델 간 중간값 강건성-중간값 정렬 경향이 뚜렷하다.
• MNIST에서의 정렬도 강건성이 증가함에 따라 증가하지만, 더 높은 강건성 수준에서 포화하는 경향이 있다.
• ImageNet과 MNIST에 대해 선형화된 강건성 ρ̃(x)와 실제 강건성 ρ(x) 사이에 강한 상관관계가 관찰되어 ρ̃가 강건성의 현실적인 추정치임을 뒷받침한다.
• 이론적 경계(정리 2와 3)는 ρ̃(x)가 정렬 항과 잔여 항의 합으로 상한에 의해 제시되며, 이 항들의 크기가 정렬에 비해 데이터셋 의존적 행동을 설명한다.
• 동형 분해를 통해 ReLU 활성화를 가진 신경망은 선형화된 항과 국소적으로 상수 잔여 항으로 분석될 수 있어 강건성-정렬 관계의 해석 가능성을 높인다.
• MNIST의 동향은 초기에는 선형 항에 더 많이 의존하는 반면, ImageNet 모델은 강건성이 커질수록 선형 항의 비중이 증가하여 비선형성이 정렬-강건성 결합을 약화시킬 수 있음을 시사한다.