[논문 리뷰] Global Aggregations of Local Explanations for Black Box models

Ilse van der Linden, Hinda Haned외 1명|arXiv (Cornell University)|2019. 07. 05.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 29

한 줄 요약

이 논문은 블랙박스 모델의 전반적 모델 행동을 추론하기 위해 국소적 LIME 설명을 통합하는 프레임워크인 글로벌 설명의 국소적 통합(GALE)을 제안한다. 표준 전역 LIME 중요도가 전역 결정 규칙을 신뢰성 있게 표현하지 못함을 입증하며, 균일성 가중 통합이 구분되는 특징을 더 잘 식별하고 텍스트 분류 작업에서 더 정확하고 통찰력 있는 전역 설명을 제공함을 보여준다.

ABSTRACT

The decision-making process of many state-of-the-art machine learning models is inherently inscrutable to the extent that it is impossible for a human to interpret the model directly: they are black box models. This has led to a call for research on explaining black box models, for which there are two main approaches. Global explanations that aim to explain a model's decision making process in general, and local explanations that aim to explain a single prediction. Since it remains challenging to establish fidelity to black box models in globally interpretable approximations, much attention is put on local explanations. However, whether local explanations are able to reliably represent the black box model and provide useful insights remains an open question. We present Global Aggregations of Local Explanations (GALE) with the objective to provide insights in a model's global decision making process. Overall, our results reveal that the choice of aggregation matters. We find that the global importance introduced by Local Interpretable Model-agnostic Explanations (LIME) does not reliably represent the model's global behavior. Our proposed aggregations are better able to represent how features affect the model's predictions, and to provide global insights by identifying distinguishing features.

연구 동기 및 목표

• 블랙박스 모델에서 국소적 설명과 전역 모델 행동 간 격차를 해소하기 위해.
• 국소적 설명을 통합하면 신뢰할 수 있고 해석 가능한 전역 통찰을 도출할 수 있는지 평가하기 위해.
• 모델의 전역 결정 과정에 대한 충실도를 고려할 때 다양한 통합 전략을 비교하기 위해.
• 다중 클래스 텍스트 분류에서 특징 중요도를 가장 잘 캡처하는 통합 방법을 특정하기 위해.
• 정확도를 희생시키지 않은 채 복잡한 모델의 해석 가능성을 향상시키는 프레임워크를 개발하기 위해.

제안 방법

• GALE는 여러 인스턴스에 걸쳐 국소적 LIME 설명을 통합하여 전역 특징 중요도 점수를 도출한다.
• 세 가지 통합 전략을 평가한다: 전역 LIME 중요도, 전역 평균 중요도, 균일성 가중 중요도.
• 균일성 가중 중요도는 클래스 간 할당의 균일성에 따라 특징 중요도를 조정하여, 다수 클래스에 걸쳐 혼합된 할당을 보이는 특징의 영향을 줄인다.
• 이 방법은 LIME을 사용해 국소적 설명을 생성하는 이진 및 다중 클래스 텍스트 분류 작업에 적용 가능하다.
• 각 클래스의 상위 특징의 대표성과 구별성 평가를 위해 시각화 및 정성적 분석을 사용한다.
• 프레임워크는 감성 및 문서 분류 작업에 대해 20 Newsgroups 데이터셋을 활용해 검증되었다.

실험 결과

연구 질문

• RQ1 국소적 설명을 통합하면 블랙박스 모델의 전역 행동에 대해 신뢰할 수 있고 유용한 통찰을 제공할 수 있는가?
• RQ2 다양한 통합 전략은 모델의 진정한 전역 결정 규칙을 어떻게 대조적으로 표현하는가?
• RQ3 전역 LIME 중요도는 모델의 전역 특징 중요도를 정확히 반영하는가, 아니면 국소적 노이즈에 의해 편향되는가?
• RQ4 다중 클래스 텍스트 분류에서 어떤 통합 방법이 클래스를 구분하는 특징을 가장 잘 식별하는가?
• RQ5 통합 과정은 스케일에 따라 국소적 설명의 해석 가능성과 충실도를 어느 정도 유지하는가?

주요 결과

• 전역 LIME 중요도는 공통 단어와标 punctuations와 같은 실질적이지 않은 특징까지 포함하여 모델의 전역 행동을 안정적으로 표현하지 못한다.
• 전역 평균 중요도는 공통 단어와 구두점 등을 걸러내어 LIME보다 개선되었지만, 클래스 간 일관성이 부족하다.
• 균일성 가중 중요도는 더 명확한 클래스별 특징 클러스터를 생성하여 전역 결정 규칙과의 더 나은 일치를 나타낸다.
• 균일성 가중 접근법은 다수 클래스에 걸쳐 높은 할당을 보이는 특징의 중요도를 낮추며, 단일 클래스에 대해 일관되게 영향을 미치는 특징을 우선시한다.
• 시각화 결과는 균일성 가중 통합이 다른 방법에 비해 각 클래스별 더 해석 가능하고 명확한 특징 집합을 도출함을 확인한다.
• 결과적으로, 통합 전략의 선택이 국소적 설명에서 유도된 전역 통찰의 품질과 신뢰도에 상당한 영향을 미친다는 것이 입증되었다.