[논문 리뷰] Global Explanations of Neural Networks: Mapping the Landscape of Predictions

Mark Ibrahim, Melissa Louie외 2명|arXiv (Cornell University)|2019. 02. 06.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 19

한 줄 요약

이 논문은 신경망에 대한 글로벌 해석을 생성하기 위해 유사한 국소적 특성 기여도를 하위 집단으로 묶는 GAM(Global Attribution Mapping)을 제안한다. 이는 해석 가능하고 세밀하며 샘플 추적 가능한 해석을 가능하게 한다. GAM은 특정 데이터 하위 집단을 통해 예측을 이끄는 특성들을 드러내어 모델의 투명성을 향상시키며, 기존에 알려진 특성 기여도와 높은 일치성을 보이며 사용자 연구에서 높은 사용성과 함께 입증된다.

ABSTRACT

A barrier to the wider adoption of neural networks is their lack of interpretability. While local explanation methods exist for one prediction, most global attributions still reduce neural network decisions to a single set of features. In response, we present an approach for generating global attributions called GAM, which explains the landscape of neural network predictions across subpopulations. GAM augments global explanations with the proportion of samples that each attribution best explains and specifies which samples are described by each attribution. Global explanations also have tunable granularity to detect more or fewer subpopulations. We demonstrate that GAM's global explanations 1) yield the known feature importances of simulated data, 2) match feature weights of interpretable statistical models on real data, and 3) are intuitive to practitioners through user studies. With more transparent predictions, GAM can help ensure neural network decisions are generated for the right reasons.

연구 동기 및 목표

• 이질적인 하위집단 간에 글로벌 해석 가능성의 부족을 해결하기 위해.
• 기존 글로벌 기여도 방법들이 하위집단 인식 없이 설명을 단일 특성 집합으로 압축하는 한계를 극복하기 위해.
• 글로벌 기여도를 특정 데이터 샘플과 하위집단에 연결함으로써 모델 진단 및 공정성 평가를 향상시키기 위해.
• GAM의 글로벌 해석이 해석 가능한 모델에서 알려진 특성 기여도와 일치하며 전문가들이 직관적으로 이해할 수 있음을 검증하기 위해.
• 유연하고 맥락 인식 가능한 모델 해석을 위해 하위집단 탐지의 조절 가능한 해상도를 제공하기 위해.

제안 방법

• 각 국소 기여도를 특성의 가중치가 부여된 순위 매기기로 간주하여 특성 기여도와 상대적 순위를 모두 유지한다.
• 순위 기반 거리(가중치 및 비가중치)를 사용해 국소 기여도 간 유사도를 측정하고, 유사한 기여도를 군집화할 수 있도록 한다.
• 특성 기여도 순위의 유사성에 기반해 국소 기여도를 하위집단으로 군집화하기 위해 계층적 군집화를 적용한다.
• 각 글로벌 기여도를 하위집단에 할당하고, 해당 기여도가 가장 잘 설명하는 샘플 비율을 보고한다.
• 하위집단 탐지의 해상도를 제어하기 위해 조절 가능한 군집화 임계값을 사용하여 더 많은 또는 더 적은 하위집단을 생성할 수 있도록 한다.
• 각 글로벌 기여도를 특정 샘플로 추적함으로써 전문가가 각 설명이 가장 잘 설명하는 데이터 포인트를 검토할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 GAM은 실제 데이터에서 XGBoost와 같은 해석 가능한 모델의 알려진 특성 기여도를 정확하게 반영하는 글로벌 기여도를 생성할 수 있는가?
• RQ2 다양한 국소 해석 기법에서 유도된 기울기 기반 방법의 특성 기여도 순위와 GAM의 글로벌 해석이 얼마나 잘 일치하는가?
• RQ3 실제 모델링 작업에서 전문가들이 GAM의 해석을 SP-LIME과 같은 기존 글로벌 기여도 방법보다 더 직관적으로 느끼는가?
• RQ4 GAM이 글로벌 기여도를 특정 하위집단과 샘플에 연결함으로써 모델의 해석 가능성과 진단 능력이 얼마나 향상되는가?
• RQ5 GAM은 다양한 데이터 하위집단에서 비선형 특성 상호작용을 효과적으로 포착하면서도 인간이 이해할 수 있는 해석을 유지할 수 있는가?

주요 결과

• 시뮬레이션 데이터에서 GAM의 글로벌 기여도는 알려진 특성 기여도를 정확히 복원하여 기반 패턴을 포착하는 정확성을 입증했다.
• 실제 신용 리스크 데이터에서 GAM의 글로벌 기여도는 XGBoost의 상위 7개 특성 기여도와 F1 스코어로 일치하여 기존 모델과의 강한 일치성을 보였다.
• 사용자 연구에서 94%의 참가자가 GAM의 막대도표 해석을 바탕으로 세 개의 노이즈 특성을 정확히 식별하고 제거했으며, 이는 높은 사용성과 해석 가능성의 증거였다.
• 전문가들은 모델 개선 작업에서 GAM과 SP-LIME 사이에 거의 동일한 선호도를 보였으며, 이는 GAM이 기존 최첨단 방법만큼 직관적임을 시사했다.
• 모든 세 가지 국소 해석 기법(LIME, Integrated Gradients, DeepLIFT)에서 GAM의 글로벌 기여도는 냄새, 스포어 프린트 컬러, 인구, 기생충 색상 등을 상위 5개 특성으로 일관되게 순위 매겼으며, 이는 강건성과 안정성을 보여주었다.
• 이 방법은 샘플의 74%에서 인구가 상위 5개 특성 중 하나로 식별되어 하위집단별 특성 중요도를 드러내며 모델 결정의 투명성을 향상시켰다.