[논문 리뷰] NormGrad: Finding the Pixels that Matter for Training

Sylvestre-Alvise Rebuffi, Ruth Fong외 3명|arXiv (Cornell University)|2019. 10. 19.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 4

한 줄 요약

이 논문은 딥 네URAL 네트워크의 훈련 과정에서 가장 영향력 있는 픽셀을 규명하기 위해 백프로파게이션 중 국소 기울기-가중치 곱의 프로베니우스 노름을 계산하는 새로운 방법인 NormGrad를 소개한다. 이 방법은 1×1 항등 항복연산자 기법을 통해 어떤 네트워크 계층에서도 고해상도의 클래스에 관계없는 시각화 맵을 생성할 수 있으며, 훈련에 관련된 특징이나 적대적 편향을 고립시키는 메타학습 접근법을 통해 정확도를 향상시킨다.

ABSTRACT

The different families of saliency methods, either based on contrastive signals, closed-form formulas mixing gradients with activations or on perturbation masks, all focus on which parts of an image are responsible for the model's inference. In this paper, we are rather interested by the locations of an image that contribute to the model's training. First, we propose a principled attribution method that we extract from the summation formula used to compute the gradient of the weights for a 1x1 convolutional layer. The resulting formula is fast to compute and can used throughout the network, allowing us to efficiently produce fined-grained importance maps. We will show how to extend it in order to compute saliency maps at any targeted point within the network. Secondly, to make the attribution really specific to the training of the model, we introduce a meta-learning approach for saliency methods by considering an inner optimisation step within the loss. This way, we do not aim at identifying the parts of an image that contribute to the model's output but rather the locations that are responsible for the good training of the model on this image. Conversely, we also show that a similar meta-learning approach can be used to extract the adversarial locations which can lead to the degradation of the model.

연구 동기 및 목표

• 모델 추론이 아닌 훈련 과정에서 모델 가중치의 기울기를 형성하는 데 가장 기여하는 이미지 영역을 규명하는 것.
• 딥 네트워크의 모든 계층에서 세밀한 할당 맵을 계산하는 빠르고 닫힌 형태의 방법을 개발하는 것.
• 손실 함수 내부의 내부 최적화 단계를 통합하여 훈련 과정에 특화된 방법으로 확장하는 것.
• 적절한 훈련을 돕는 픽셀과 모델 품질 저하를 유도하는 픽셀을 구분하여 적대적 위치 탐지 기능을 제공하는 것.

제안 방법

• NormGrad는 각 공간 위치에서 활성화 기울기와 입력 특징 간의 외적곱의 프로베니우스 노름을 계산하여 픽셀 단위 중요도 맵을 생성한다: $\bm{m}_u = \|\bm{g}_u\| \cdot \|\bm{x}'_u\|$.
• 일般적인 컨볼루션 계층에 대해, 이 방법은 im2row 변환을 사용하여 기울기를 $\frac{dh}{dW} = \frac{dh}{dX''} \cdot \iota(\bm{x}')$ 로 표현함으로써 국소 기울기 기여도를 효율적으로 계산한다.
• 어떤 네트워크 계층에나 1×1 항등 항복연산자를 삽입하여 고유한 깊이에서 시각화 계산을 가능하게 하며, 기울기 분석을 위한 1×1 컨볼루션으로 계층을 변환한다.
• 중간 활성화를 가상의 1×1 컨볼루션의 입력으로 간주함으로써 이 방법은 아키텍처 변경 없이도 어떤 계층에도 일반화할 수 있다.
• 1차 순서에서는 메타학습 접근법이 적용된다: 손실 함수 내부의 내부 최적화 단계를 통해 헤시안-벡터 곱을 근사함으로써 시각화 맵을 훈련 역학에 특화시킨다.
• 1차 순서 방법은 유한 차분과 SGD를 사용하여 헤시안-벡터 곱을 근사하며, $\epsilon = 0.0005$ 와 $h = 0.5 / \|\nabla_{\theta'}\ell\|_2$ 는 하이퍼파ram터로 사용된다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 백프로파게이션 과정에서 기울기 업데이트에 가장 영향을 미치는 이미지 픽셀은 어디인가?
• RQ2 닫힌 형태의 효율적인 방법이 어떤 계층에서도 고해상도 시각화 맵을 생성할 수 있는가, 특히 최종 계층 뿐만 아니라?
• RQ3 시각화 맵을 모델 추론이 아닌 훈련 과정에 특화시킬 수 있는가?
• RQ4 동일한 프레임워크로 메타학습 메커니즘을 통해 훈련에 핵심적인 픽셀과 적대적 픽셀을 동시에 탐지할 수 있는가?

주요 결과

• NormGrad는 Grad-CAM이 깊은 계층에서만 의미 있는 맵을 생성하는 것과 달리, 초기 계층을 포함해 어떤 네트워크 깊이에서도 고해상도 시각화 맵을 생성한다.
• 1×1 항등 항복연산자 기법을 통해 어떤 계층에서도 일관된 시각화 계산이 가능하며, 이 기법이 없어도 원래 방법과 동일한 결과를 도출한다.
• 0차 순서 NormGrad 방법은 클래스에 관계없는 것으로, 일반적인 기울기 기여도를 반영하므로 올바른 클래스와 적대적 클래스를 동일하게 강조한다.
• 1차 순서 메타학습 확장은 클래스별로 특화된 시각화 맵을 생성한다: 한 버전은 훈련을 향상시키는 픽셀을 강조하고, 다른 버전은 품질 저하를 유도하는 픽셀을 식별한다.
• 0차 순서 NormGrad는 이미지당 한 번의 포워드-백워드 패스만으로도 충분히 효율적이어서 훈련 중 실시간 사용이 가능하다.
• 1차 순서 방법은 네 번의 포워드-백워드 패스가 필요하지만, 수백 번의 패스가 필요한 편향 기반 방법보다도 속도와 해상도 면에서 뛰어나다.