[논문 리뷰] Explaining Deep Learning Models for Structured Data using Layer-Wise Relevance Propagation

Ihsan Ullah, André Ríos외 2명|arXiv (Cornell University)|2020. 11. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 8

한 줄 요약

이 논문은 1D-CNN를 사용하여 구조화된 표준형 데이터에 Layer-wise Relevance Propagation (LRP)를 적용한 최초의 사례를 제시한다. 신용카드 사기 탐지 및 통신사 이탈 예측에 응용된 LRP는 설명 품질과 속도에서 LIME 및 SHAP을 능가하며, 인간이 읽을 수 있고 직관적인 특성 기여도를 제공한다. 또한 실시간 설명 가능성도 가능하게 하고, XAI 기반 특성 선택을 위한 새로운 길을 제시한다.

ABSTRACT

Trust and credibility in machine learning models is bolstered by the ability of a model to explain itsdecisions. While explainability of deep learning models is a well-known challenge, a further chal-lenge is clarity of the explanation itself, which must be interpreted by downstream users. Layer-wiseRelevance Propagation (LRP), an established explainability technique developed for deep models incomputer vision, provides intuitive human-readable heat maps of input images. We present the novelapplication of LRP for the first time with structured datasets using a deep neural network (1D-CNN),for Credit Card Fraud detection and Telecom Customer Churn prediction datasets. We show how LRPis more effective than traditional explainability concepts of Local Interpretable Model-agnostic Ex-planations (LIME) and Shapley Additive Explanations (SHAP) for explainability. This effectivenessis both local to a sample level and holistic over the whole testing set. We also discuss the significantcomputational time advantage of LRP (1-2s) over LIME (22s) and SHAP (108s), and thus its poten-tial for real time application scenarios. In addition, our validation of LRP has highlighted features forenhancing model performance, thus opening up a new area of research of using XAI as an approachfor feature subset selection

연구 동기 및 목표

• 구조화된 표준형 데이터에서 딥러닝 모델의 해석 가능성을 높이기 위해 신뢰도와 의사결정의 기초로 해석 가능성의 중요성이 요구되는 문제를 해결하기 위해.
• 컴퓨터 비전 분야에서의 성공을 바탕으로, LRP가 구조화된 데이터에 대해 설명 방법으로 효과적으로 적용될 수 있는지 평가하기 위해.
• 설명 품질, 계산 효율성, 사용성 측면에서 LRP의 성능을 LIME 및 SHAP과 비교하기 위해.
• 유의미한 입력 특성들을 관련도 점수를 통해 식별함으로써, LRP를 특성 부분집합 선택 도구로 활용할 수 있는 잠재력을 탐색하기 위해.
• LRP의 낮은 추론 시간을 바탕으로 실시간 설명 가능성의 실현 가능성을 입증하기 위해.

제안 방법

• 신용카드 사기 및 통신사 이탈 데이터셋과 같은 구조화된 표준형 데이터셋에 대해 훈련된 1D-CNN 모델에 LRP를 적용하기 위해.
• 최종 예측 점수를 네트워크의 각 레이어를 거슬러 내려가면서 관련도 점수를 입력 특성에 할당하기 위해 LRP의 역방향 전파 메커니즘을 사용하기 위해.
• 클래스별로 인간이 읽을 수 있는 히트맵을 생성하여, 모델의 예측에 가장 기여한 입력 특성들을 강조하기 위해.
• 개별 샘플과 전체 테스트 세트에 대해 정성적 및 정량적 지표를 사용하여 LRP의 설명을 LIME 및 SHAP과 비교 검증하기 위해.
• 추론 시간을 비교하여 계산 효율성을 측정하기 위해: LRP (1–2초), LIME (22초), SHAP (108초).
• 데이터셋 전반에 걸쳐 관련도 점수를 분석하여 일관되게 중요한 특성들을 식별함으로써, 특성 선택에 유용할 수 있음을 제안하기 위해.

실험 결과

연구 질문

• RQ1 LRP는 기존의 컴퓨터 비전 분야에서의 성공을 바탕으로 하여, 구조화된 표준형 데이터에 효과적으로 적용될 수 있는가?
• RQ2 LRP의 설명 품질은 국소적(샘플 수준) 및 전역적(데이터셋 수준) 규모에서 LIME 및 SHAP과 비교해 어떻게 다른가?
• RQ3 LRP의 계산 효율성은 LIME 및 SHAP과 비교해 어떠한가? 실시간 배포가 가능한가?
• RQ4 LRP의 관련도 점수를 활용하여 모델 성능에 가장 기여하는 특성들을 식별하고 선택할 수 있는가?
• RQ5 비이미지 구조화된 데이터에 대해 LRP는 LIME 및 SHAP보다 더 직관적이고 이해하기 쉬운 설명을 제공하는가?

주요 결과

• LRP는 국소적 및 전역적 분석 모두에서 중요한 입력 특성을 더 명확하게 강조함으로써, LIME 및 SHAP보다 더 직관적이고 인간이 읽기 쉬운 설명을 생성하였다.
• LRP는 샘플당 1–2초의 설명 시간을 기록하여, LIME(22초) 및 SHAP(108초)보다 훨씬 빠르게 실시간 배포가 가능하였다.
• LRP의 관련도 점수는 데이터셋 전반에 걸쳐 일관되게 영향력이 큰 특성들을 드러내어, XAI 기반 특성 부분집합 선택의 잠재력을 보여주었다.
• LRP는 전체 테스트 세트에 걸쳐 보다 뛰어난 통합적 설명 품질을 보였으며, 전역적 특성 중요도 패턴을 더 잘 포착하였다.
• 이 연구는 LRP가 구조화된 데이터에서 강건하고 해석 가능한 방법임을 검증하였으며, 표준형 영역에서 신뢰할 수 있는 딥러닝의 발전을 위한 중요한 단계를 마련하였다.
• 결과적으로 LRP는 설명에 효과적인 것뿐만 아니라, 모델 진단 및 특성 엔지니어링의 유망한 도구임을 시사한다.