[논문 리뷰] On the Connection Between Adversarial Robustness and Saliency Map Interpretability

Christian Etmann, Sebastian Lunz외 2명|arXiv (Cornell University)|2019. 05. 10.

Adversarial Robustness in Machine Learning참고 문헌 26인용 수 74

한 줄 요약

이 논문은 적대적 강건성이 saliency map 해석가능성과 어떤 관련이 있는지 분석하고, 입력과 saliency 간의 정렬을 형식화하며, 이 연관성이 더 선형 모델에서 더 강하다는 것을 보인다.

ABSTRACT

Recent studies on the adversarial vulnerability of neural networks have shown that models trained to be more robust to adversarial attacks exhibit more interpretable saliency maps than their non-robust counterparts. We aim to quantify this behavior by considering the alignment between input image and saliency map. We hypothesize that as the distance to the decision boundary grows,so does the alignment. This connection is strictly true in the case of linear models. We confirm these theoretical findings with experiments based on models trained with a local Lipschitz regularization and identify where the non-linear nature of neural networks weakens the relation.

연구 동기 및 목표

• 적대적 강건성과 saliency map 해석가능성 간의 관찰된 연결 고리를 동기 부여하고 정량화한다.
• 입력 이미지와 saliency 맵 간의 정렬을 정의하고 그것이 강건성과의 관계를 연구한다.
• 선형 모델에서 강건성과 정렬 간의 관계를 형식적으로 연결하고, 비선형 네트워크에 대한 인사이트를 확장한다.
• 로컬적으로 선형( ReLU 기반) 네트워크가 강건성 규제 하에서 어떻게 동작하는지와 그것이 해석가능성에 미치는 영향을 조사한다.
• MNIST와 ImageNet에서 적대적으로 강건한 모델을 사용하여 이론을 실증적으로 검증한다.

제안 방법

• 적대적 강건성을 분류 결정이 바뀌는 가장 가까운 섭 perturbation까지의 거리로 정의한다.
• alignment α(x) = |<x, ∇Ψ(x)>| / ||∇Ψ(x)|| 를 도입하고 그것의 강건성과의 관계를 분석한다.
• 로컬 선형화된 점수 함수에 대한 선형화된 강건성을 도출하고 이와 이진화된 saliency 맵과의 연관성을 확립한다.
• 신경망의 동등한 분해를 제안하여 선형 성분과 비선형 성분을 분리한다.
• 다중 클래스 네트워크에 대해 정리된 점에서의 경계(짧은 bound)로 강건성과 정렬의 연결에 대한 상한을 제시한다(정리 2 및 정리 3).
• MNIST와 ImageNet에서 그래디언트의 노름을 페널티로 부과하는 더블 역전파(backpropagation) 방식으로 네트워크를 학습하고, 강건성을 규제화하여 변화시키는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 더 강건해질수록 입력 이미지와 saliency 맵 간의 정렬이 더 높아지는가?
• RQ2 선형·동일한 일차 동형 모델과 비선형 신경망 간의 강건성-정렬 관계 차이는 무엇인가?
• RQ3 선형화된 강건성에 대한 경계가 강건한 모델의 해석가능성의 관찰에 어떤 설명을 제공하는가?
• RQ4 로컬 상수항과 로짓의 선형 항이 강건성-정렬 연결에서 어떤 역할을 하는가?
• RQ5 MNIST와 ImageNet의 결과는 강건성, 정렬, 해석가능성 패턴 면에서 어떻게 비교되는가?

주요 결과

• 강건한 모델은 입력과 saliency 간의 정렬이 더 강하고 해석가능한 saliency 맵을 생성하는 경향이 있다.
• 선형 또는 양의 동일 일차 동형 점수 함수의 경우, 강건성과 이진화된 정렬이 일치한다.
• 비선형 네트워크에서는 평균적으로 정렬이 강건성과 함께 증가하지만 관계는 더 약하고 데이터 의존적이다.
• ImageNet과 MNIST에서 중앙값 정렬이 중앙값 강건성과 함께 증가하는 실험 결과가 나타나며 포화 현상은 다르게 나타난다.
• 선형화된 강건성은 실제 강건성의 현실적인 추정치를 제공하며 점별 측정과 잘 상관된다.
• 상한(정리 2와 정리 3)은 선형 성분이 정렬-강건성 연결에서 지배적임을 설명하며, 모델이 더 선형에 가까워질수록 이 효과가 두드러진다.