[논문 리뷰] Concise Explanations of Neural Networks using Adversarial Training

Prasad Chalasani, Jiefeng Chen외 3명|arXiv (Cornell University)|2018. 10. 15.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 11

한 줄 요약

이 논문은 ℓ∞-경계가 있는 교란에 의한 적대적 훈련이 깊이 신경망에서 더 흐린, 더 간결한 특징 기여도를 유도함으로써 정확도를 희생시키지 않고 모델의 해석 가능성성을 향상시킨다. 이론적 분석과 실험 결과는 ℓ∞-적대적 훈련이 ℓ1-정규화보다 Integrated Gradients와 DeepSHAP 기여도에서 자연스럽게 희박성을 증진시키며, 설명의 안정성까지 향상시킴을 보여준다.

ABSTRACT

We show new connections between adversarial learning and explainability for deep neural networks (DNNs). One form of explanation of the output of a neural network model in terms of its input features, is a vector of feature-attributions. Two desirable characteristics of an attribution-based explanation are: (1) $ extit{sparseness}$: the attributions of irrelevant or weakly relevant features should be negligible, thus resulting in $ extit{concise}$ explanations in terms of the significant features, and (2) $ extit{stability}$: it should not vary significantly within a small local neighborhood of the input. Our first contribution is a theoretical exploration of how these two properties (when using attributions based on Integrated Gradients, or IG) are related to adversarial training, for a class of 1-layer networks (which includes logistic regression models for binary and multi-class classification); for these networks we show that (a) adversarial training using an $\ell_\infty$-bounded adversary produces models with sparse attribution vectors, and (b) natural model-training while encouraging stable explanations (via an extra term in the loss function), is equivalent to adversarial training. Our second contribution is an empirical verification of phenomenon (a), which we show, somewhat surprisingly, occurs $ extit{not only}$ $ extit{in 1-layer networks}$, $ extit{but also DNNs}$ $ extit{trained on }$ $ extit{standard image datasets}$, and extends beyond IG-based attributions, to those based on DeepSHAP: adversarial training with $\ell_\infty$-bounded perturbations yields significantly sparser attribution vectors, with little degradation in performance on natural test data, compared to natural training. Moreover, the sparseness of the attribution vectors is significantly better than that achievable via $\ell_1$-regularized natural training.

연구 동기 및 목표

• 높은 위험도의 응용에서 신뢰성과 해석 가능성에 장애가 되는 깊이 신경망의 간결하고 안정적인 설명의 부족을 해결한다.
• 기존에 강건성 향상을 위해 사용되던 적대적 훈련이 Integrated Gradients와 DeepSHAP와 같은 특징 기여도 방법의 희박성과 안정성도 향상시키는지 탐구한다.
• 특징 기여도의 희박성 측면에서 적대적 강건성과 해석 가능성 간의 이론적 및 실험적 연결 고리를 탐색한다.
• 가장 관련성이 높은 입력 특징에 집중함으로써 인간에게 더 친화적이고 해석 가능한 모델을 만들어내기 위해 적대적 훈련이 어떻게 기여하는지 보여준다.
• 정확도를 유지하면서도 희박한 기여도를 달성하는 데 있어 적대적 훈련과 ℓ1-정규화의 효과성을 비교한다.

제안 방법

• ℓ∞-경계가 있는 적대적 훈련 하에서 볼록 손실 함수를 가진 1층 신경망(로지스틱 회귀 포함)에 대한 이론적 분석을 통해 가중치 감소 조건을 도출한다.
• 모델 입력에 대한 특징 중요도 벡터를 계산하기 위해 Integrated Gradients(IG)와 DeepSHAP을 기여도 방법으로 사용한다.
• 각 훈련 예제가 ℓ∞-구내 반경 ε 내의 최악의 δ에 의해 손상되어 손실을 최대화하도록, 적대적 훈련을 강건 최적화 문제로 공식화한다.
• 손실 함수에 안정성 정규화 항을 도입하여 이는 적대적 훈련과 수학적으로 동일하며, 설명의 안정성과 적대적 강건성을 연결한다.
• MNIST, Fashion-MNIST, CIFAR-10 데이터셋에서 세 가지 모델 유형(자연 훈련, ℓ1-정규화, ℓ∞-적대적으로 훈련된 모델)에 대해 Gini 지수와 시각적 사활도 맵을 사용하여 기여도의 희박성을 실험적으로 평가한다.
• 자연 테스트 데이터에서의 예측 신뢰도를 포함한 메트릭을 사용하여 자연 훈련 모델, ℓ1-정규화 모델, ℓ∞-적대적 훈련 모델 간의 기여도 희박성과 모델 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 자연 훈련에 비해 ℓ∞-적대적 훈련이 깊이 신경망에서 더 희박한 특징 기여도 벡터를 유도하는가?
• RQ2 적대적 훈련은 입력의 국소적 이웃 내에서 특징 기여도의 안정성을 향상시키는가?
• RQ3 ℓ∞-적대적 훈련이 자연 훈련에서 달성한 ℓ1-정규화보다 더 우수한 희박성을 유도하는가?
• RQ4 적대적 훈련이 모델 성능을 떨어뜨리지 않고 설명의 간결성을 얼마나 향상시키는가?
• RQ5 1층 네트워크에서의 적대적 훈련과 희박성 간의 이론적 연결 고리는 표준 비전 벤치마크에서의 더 깊은 DNN에까지 확장 가능한가?

주요 결과

• ℓ∞-적대적 훈련은 MNIST, Fashion-MNIST, CIFAR-10 데이터셋 전반에서 Integrated Gradients와 DeepSHAP 기여도 벡터의 희박성을 크게 증가시킨다.
• 자연 훈련 및 ℓ1-정규화 모델보다 적대적으로 훈련된 모델이 더 높은 Gini 지수(희박성 측정 지표)를 기록한다—예를 들어, 적대적 MNIST의 Gini 지수는 0.9728, 자연 훈련은 0.9271이다.
• 적대적 훈련에 의한 희박성 향상은 특히 MNIST와 Fashion-MNIST에서 Integrated Gradients보다 DeepSHAP에서 더 뚜렷하게 시각적·정량적으로 나타난다.
• 적대적 훈련은 자연 데이터에서 높은 테스트 정확도를 유지하며 자연 훈련과 비교해 성능 저하가 최소한이므로 강건성과 정확도 사이의 상충관계가 없다.
• 이론적 분석은 ℓ∞-적대적 훈련이 약한 특징의 가중치를 자연 훈련보다 더 극적으로 감소시켜 더 희박한 기여도를 유도함을 확인한다.
• 기여도의 안정성은 적대적 훈련을 통해 내재적으로 향상되며, 이는 입력 주변의 국소적 행동을 암묵적으로 정규화하여 작은 교란에 대한 민감도를 감소시키기 때문이다.