[논문 리뷰] Sensitivity based Neural Networks Explanations

Enguerrand Horel, Virgile Mison외 3명|arXiv (Cornell University)|2018. 12. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 11

한 줄 요약

이 논문은 출력에 대한 입력에 대한 기울기를 계산하여 특성 중요도를 평가함으로써 신경망 예측을 신속하고 민감도 기반으로 설명하는 방법을 제안한다. 이 방법은 다양한 아키텍처(예: 완전 연결, CNN, RNN)에서 전역적이고 국소적인 해석 가능성을 제공하며, LIME보다 빠른 속도(25,000개 샘플 기준 0.5초 대비 6시간)를 기록하고, 로지스틱 회귀나 결정 트리와 같은 내재적으로 해석 가능한 모델과 비교해 유사하거나 더 나은 해석 가능성을 달성한다.

ABSTRACT

Although neural networks can achieve very high predictive performance on various different tasks such as image recognition or natural language processing, they are often considered as opaque "black boxes". The difficulty of interpreting the predictions of a neural network often prevents its use in fields where explainability is important, such as the financial industry where regulators and auditors often insist on this aspect. In this paper, we present a way to assess the relative input features importance of a neural network based on the sensitivity of the model output with respect to its input. This method has the advantage of being fast to compute, it can provide both global and local levels of explanations and is applicable for many types of neural network architectures. We illustrate the performance of this method on both synthetic and real data and compare it with other interpretation techniques. This method is implemented into an open-source Python package that allows its users to easily generate and visualize explanations for their neural networks.

연구 동기 및 목표

• 금융 및 헬스케어와 같은 고위험 도메인에서 블랙박스 모델이 규제 및 신뢰 장벽을 겪는 데 기인한 모델의 해석 가능성에 대한 핵심적 필요를 해결한다.
• 딥 뉴럴 네트워크에 적용할 때 계산 비효율성과 확장성 부족 등의 한계를 겪는 기존 설명 방법의 한계를 극복한다.
• 다양한 신경망 아키텍처에 적용 가능한 통합적이고 효율적이며 확장 가능한 방법을 개발하여 전역적·국소적 특성 중요도 설명을 생성한다.
• 민감도 기반 설명이 로지스틱 회귀나 결정 트리와 같은 내재적으로 해석 가능한 모델의 설명과 일관되며 효과적인 특성 선택을 유도할 수 있음을 입증한다.
• 실용적인 구현을 위해 연구자들이 쉽게 설명 생성 및 시각화를 수행할 수 있도록 오픈소스 파이썬 패키지를 제공한다.

제안 방법

• 각 입력 특성에 대해 신경망 출력에 대한 기울기를 계산하여 민감도를 정량화하고, 이를 특성 중요도의 대체 지표로 활용한다.
• 모든 입력 샘플에 걸친 기울기의 L2 노름을 사용하여 전역적 특성 중요도 순위를 유도함으로써 예측에 대한 총합적 영향을 파악한다.
• 같은 기울기 계산을 국소적으로 적용하여 개별 예측에 대한 설명을 생성함으로써 국소적 해석 가능성을 달성한다.
• 백프로파게이션을 활용해 네트워크의 계산 그래프를 통해 완전 연결, 컨volutional, 순환 신경망 등 다양한 아키텍처에 이 방법을 적용한다.
• 미래 작업에서 2차 민감도(Hessian 기반)를 통합하여 특성 간 상호작용 효과를 포착한다.
• 실무자들이 종단 간 설명 생성 및 시각화를 지원하기 위해 오픈소스 파이썬 패키지에 이 방법을 구현한다.

실험 결과

연구 질문

• RQ1 기울기 기반 민감도가 LIME 및 셰플리 값과 같은 기존 특성 중요도 방법에 비해 딥 뉴럴 네트워크에서 더 신속하고 신뢰할 수 있는 대안이 될 수 있는가?
• RQ2 민감도 기반 방법이 로지스틱 회귀나 결정 트리와 같은 내재적으로 해석 가능한 모델의 설명과 정확도 및 일관성 면에서 어떻게 비교되는가?
• RQ3 민감도 기반 특성 중요도가 모델 성능 저하 없이 부적절하거나 정보가 없는 입력 특성을 식별하고 제거하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 기존 접근 방식에 비해 이 민감도 방법이 대규모 데이터셋과 복잡한 신경망 아키텍처에 대해 얼마나 효율적으로 확장 가능한가?
• RQ5 완전 연결, CNN, RNN 등 다양한 유형의 신경망에 대해 아키텍처 수정 없이 일반화될 수 있는가?

주요 결과

• 민감도 기반 방법은 LIME 대비 최대 7200배 더 빠르게 전역적 특성 중요도를 계산하며, 25,000개 샘플 기준 0.5초로, LIME의 6시간 대비 빠르다.
• 민감도 기반 방법의 전역적 특성 중요도 순위는 LIME의 집계 순위와 매우 유사하며, 신용 불량 데이터셋에서 로지스틱 회귀 및 결정 트리의 설명과도 일치한다.
• PAY_0, PAY_AMT1, LIMIT_BAL, PAY_AMT2, PAY_3의 상위 5개 특성은 모든 방법에서 높은 순위로 일관되게 나타나 민감도의 강건성을 입증한다.
• 민감도 기반 순위에서 상위 10개 특성을 선택하면 중요도의 90%를 설명할 수 있으며, 이로 생성된 축소된 완전 연결 네트워크의 테스트 오차율은 18.47% ± 0.000834로 원본 모델의 18.66% ± 0.000484와 유사하다.
• 30번의 무작위 가중치 초기화에 걸쳐 축소된 모델의 성능은 전체 모델과 통계적으로 구분되지 않으며, 제거된 특성들이 예측 능력에 미치는 기여가 극히 미미함을 확인한다.
• 이 방법은 부적절한 특성을 성공적으로 식별하여 모델 단순화를 가능하게 하면서도 예측 정확도를 유지할 수 있어, 모델 압축 및 특성 선택에 활용 가능함을 뒷받침한다.