[논문 리뷰] NormLime: A New Feature Importance Metric for Explaining Deep Neural Networks

Isaac Ahern, Adam Noack외 4명|arXiv (Cornell University)|2019. 09. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 37

한 줄 요약

NormLIME은 로컬 LIME 설명의 정규화된 집계를 도입하여 심층 네트워크에 대한 글로벌 및 클래스별 특징 중요도를 생성하고, 인간의 선호도와 충실한 특징 순위를 보인다.

ABSTRACT

The problem of explaining deep learning models, and model predictions generally, has attracted intensive interest recently. Many successful approaches forgo global approximations in order to provide more faithful local interpretations of the model's behavior. LIME develops multiple interpretable models, each approximating a large neural network on a small region of the data manifold and SP-LIME aggregates the local models to form a global interpretation. Extending this line of research, we propose a simple yet effective method, NormLIME for aggregating local models into global and class-specific interpretations. A human user study strongly favored class-specific interpretations created by NormLIME to other feature importance metrics. Numerical experiments confirm that NormLIME is effective at recognizing important features.

연구 동기 및 목표

• 심층 신경망에 대한 글로벌 및 클래스별 해석으로 로컬 설명을 집계하는 메트릭을 제공한다.
• 다중 세분성 수준에서 해석 가능성을 향상시키기 위해 LIME/SP-LIME에 정규화 스킴을 확장한다.
• NormLIME이 인간 연구와 KAR 스타일 평가를 통해 정확하고 이해하기 쉬운 설명을 제공함을 보인다.

제안 방법

• LIME에서와 같이 희소 선형 모델을 사용하여 데이터 포인트 주변의 로컬 설명을 구축한다.
• 정규화 기반 가중치 체계(식 3–5)를 통해 로컬 설명을 글로벌 특징 중요도로 집계한다.
• 로컬 설명을 클래스 레이블로 분할하여 클래스별 중요도(설명도)를 얻는다(식 7–9).
• MNIST에서 LIME, SmoothGrad, VarGrad 등 기본 방법과 비교하여 사람 연구에서 NormLIME을 평가한다.
• 원시 픽셀과 합성곱 피처에 대한 Keep-and-Retrain(KAR) 스타일 실험으로 설명을 평가한다.
• 기존의 글로벌 설명 방법(SP-LIME, L2 대 L1 정규화)과의 이론적 관계를 논의한다.

실험 결과

연구 질문

• RQ1 NormLIME이 인간의 직관과 일치하는 글로벌 및 클래스별 설명을 생성할 수 있는가?
• RQ2 휴먼 평가에서 NormLIME이 기본 피처 중요도 방법들보다 우수한가?
• RQ3 KAR 스타일 평가로 나타난 모델 성능에 중요한 피처의 충실한 지표로서 NormLIME 설명이 신뢰할 수 있는가?
• RQ4 다중 클래스 설정에서 정규화가 클래스별 설명의 질에 어떤 영향을 미치는가?

주요 결과

• MNIST에 대한 인간 연구에서 NormLIME은 LIME 438표, VarGrad 151표, SmoothGrad 132표를 훨씬 상회하는 939표를 받았다.
• 참가자들은 난수에 따른 통계적 차이가 유의하게 나타나는 한에서 NormLIME의 클래스별 설명을 기본 방법보다 선호했다(p<0.001, Tukey HSD).
• KAR 스타일 평가에서 NormLIME은 특히 합성곱 피처에서 다른 방법들보다 우수했고, 피처의 70%를 제거해도 99.31% 정확도를 달성하는 최상의 성능을 보였다.
• 정규화는 중요한 픽셀 간의 차이를 드러내는 데 도움이 되어 클래스 수준의 해석 가능성을 개선했다.
• 평가 전반에서 그라디언트 기반 방법은 SHAP, LIME, NormLIME 같은 더해지는 로컬-모델 접근 방식에 뒤처졌고, 특히 클래스별 해석 가능성에서 NormLIME이 두드러졌다.