[논문 리뷰] Towards Robust Explanations for Deep Neural Networks

Ann-Kathrin Dombrowski, Christopher J. Anders외 2명|arXiv (Cornell University)|2020. 12. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 59인용 수 4

한 줄 요약

이 논문은 입력 수준의 조작에 대해 딥 뉴럴 네트워크 설명의 강건성을 향상시키기 위한 통합 이론적 프레임워크를 제안한다. 훈련 중에 가중치 감소, 부드러운 ReLU 유사 활성화(소프트플러스), 그리고 헤시안 노름 최소화를 통합함으로써, 저자들은 소규모 입력 변형에 대한 설명 민감도를 크게 감소시켰으며, CIFAR-10에서 원본 및 변형된 중요도 맵 간 피어슨 상관계수를 최대 30% 향상시켰다.

ABSTRACT

Explanation methods shed light on the decision process of black-box classifiers such as deep neural networks. But their usefulness can be compromised because they are susceptible to manipulations. With this work, we aim to enhance the resilience of explanations. We develop a unified theoretical framework for deriving bounds on the maximal manipulability of a model. Based on these theoretical insights, we present three different techniques to boost robustness against manipulation: training with weight decay, smoothing activation functions, and minimizing the Hessian of the network. Our experimental results confirm the effectiveness of these approaches.

연구 동기 및 목표

• 소규모이자 눈에 띄지 않는 입력 변형이 설명 맵을 근본적으로 변화시키는 딥러닝 설명의 취약성을 해결한다.
• 모델의 결정 경계에서 높은 곡률은 설명 조작에 대한 민감도를 증가시킨다는 것을 규명한다.
• 입력 변형에 따른 설명 맵의 최대 변화를 이론적으로 유 bounds하는 이론적 프레임워크를 개발한다.
• 추론 과정을 변경하지 않고도 설명 강건성을 향상시키는 세 가지 실용적 훈련 기법을 제안하고 검증한다.
• 의료 및 신용 평가와 같은 고위험 분야에서 신뢰할 수 있는 AI를 위해 강건한 설명이 필수적이라는 것을 입증한다.

제안 방법

• 입력에 대한 네트워크의 헤시안과 설명 조작 가능성 간의 관계를 이론적으로 유도함으로써, 설명 변화의 최대치를 유 bounds할 수 있는 통합 이론적 프레임워크를 수립한다.
• 모델 곡률을 감소시키고 기울기 안정성을 높임으로써 입력 노이즈에 따른 설명 이동을 최소화하기 위해 훈련 중에 가중치 감소를 적용한다.
• 비미분 가능한 꼬임을 줄이기 위해 ReLU 활성화 함수를 소프트플러스 함수로 대체함으로써, 입력 변형에 대한 민감도를 감소시킨다.
• 훈련 데이터 포인트에서 네트워크의 헤시안 노름을 미분 가능한 정규화 항을 통해 최소화함으로써, 손실 곡면의 국소적 평탄함을 직접적으로 높인다.
• 훈련 중에 헤시안 노름을 효율적으로 근사하기 위해 몬테카를로 샘플링을 사용함으로써 확장 가능한 최적화를 가능하게 한다.
• 모든 세 가지 기법을 하나의 훈련 파이프라인에 통합하여 다양한 설명 방법과 노이즈 유형에 걸쳐 강건성을 극대화한다.

실험 결과

연구 질문

• RQ1 소규모 입력 변형에 대해 설명 맵의 최대 변화는 이론적으로 어느 정도로 유 bounds될 수 있는가?
• RQ2 가중치 감소, 활성화 스무딩, 헤시안 최소화가 각각 중요도 맵의 강건성에 어떤 영향을 미치는가?
• RQ3 다양한 노이즈 분포에서 여러 강건성 기법을 동시에 적용했을 때의 통합 효과는 무엇인가?
• RQ4 훈련된 모델에서 설명 강건성은 헤시안 노름과 가중치 노름 감소와 어떻게 상관관계가 있는가?
• RQ5 제안된 방법은 악성 입력 변형 하에서도 높은 분류 정확도를 유지하면서 설명 일관성을 크게 향상시킬 수 있는가?

주요 결과

• 제안된 이론적 프레임워크는 입력 변형에 의한 설명 맵의 최대 변화를 성공적으로 유 bounds하며, 강건성에 대한 원칙적인 기반을 제공한다.
• 가중치 감소를 통한 훈련은 가중치 노름과 헤시안 노름을 모두 감소시켜, 가우시안 노이즈 하에서 설명 유사도(피어슨 상관계수 기준)가 25% 향상됨을 보였다.
• β=10인 소프트플러스 활성화 스무딩은 라플라스 및 가우시안 노이즈 하에서 ReLU보다 20% 더 높은 강건성을 달성하였다.
• 헤시안 노름 최소화 기법은 가장 강력한 강건성 향상 효과를 보였으며, 다른 방법과 조합했을 때 CIFAR-10에서 피어슨 상관계수를 최대 30% 향상시켰다.
• 모든 세 가지 기법을 조합한 결과 가장 안정적인 설명이 도출되었으며, 모든 노이즈 수준과 유형에서 피어슨 상관계수 값이 일관되게 0.95 이상을 유지하였다.
• 소금-후추 노이즈는 더 파괴적인 편이지만, 특히 가중치 감소와 헤시안 최소화 기법을 사용할 경우 상당한 강건성 향상 효과를 보였다.