[논문 리뷰] Model Agnostic Multilevel Explanations

Karthikeyan Natesan Ramamurthy, Bhanukiran Vinzamuri외 2명|arXiv (Cornell University)|2020. 03. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 20

한 줄 요약

이 논문은 LIME와 같은 방법으로부터 유도된 국소적 설명을 군집화하여 글로벌, 중간, 인스턴스 수준의 계층적 설명 트리를 구성하는 모델에 종속되지 않는 다수준 설명(MAME)을 제안한다. 블랙박스 모델의 정확도를 유지하면서도 그룹 간의 밀도를 동시에 최적화함으로써 더 높은 정확도와 확장성을 달성하였으며, 전문가 및 비전문가 사용자 연구를 통해 검증되었다.

ABSTRACT

In recent years, post-hoc local instance-level and global dataset-level explainability of black-box models has received a lot of attention. Much less attention has been given to obtaining insights at intermediate or group levels, which is a need outlined in recent works that study the challenges in realizing the guidelines in the General Data Protection Regulation (GDPR). In this paper, we propose a meta-method that, given a typical local explainability method, can build a multilevel explanation tree. The leaves of this tree correspond to the local explanations, the root corresponds to the global explanation, and intermediate levels correspond to explanations for groups of data points that it automatically clusters. The method can also leverage side information, where users can specify points for which they may want the explanations to be similar. We argue that such a multilevel structure can also be an effective form of communication, where one could obtain few explanations that characterize the entire dataset by considering an appropriate level in our explanation tree. Explanations for novel test points can be cost-efficiently obtained by associating them with the closest training points. When the local explainability technique is generalized additive (viz. LIME, GAMs), we develop a fast approximate algorithm for building the multilevel tree and study its convergence behavior. We validate the effectiveness of the proposed technique based on two human studies -- one with experts and the other with non-expert users -- on real world datasets, and show that we produce high fidelity sparse explanations on several other public datasets.

연구 동기 및 목표

• 국소적 인스턴스 수준 설명과 글로벌 데이터셋 수준 설명 사이의 다수준 해석 가능성 격차를 해소하기 위해, 특히 GDPR 준수 요구사항을 고려하여.
• 데이터 포인트 간의 유사성에 따라 다양한 수준의 밀도를 공동으로 학습함으로써 사용자 제어가 가능한 탄력적인 설명 해상도를 제공하기 위해.
• 다양한 추상화 수준에서 서로 다른, 중복되지 않는 통찰을 생성함으로써 설명의 정확도와 소통가치를 향상시키기 위해.
• 특히 일반화된 가산 모델(LIME 등)을 사용할 경우, 체계적인 근사치를 통해 설명 프로세스의 확장성을 높이기 위해.
• 공개 데이터셋에서의 인간 연구와 정량적 메트릭을 통해 방법의 효과성을 검증하기 위해.

제안 방법

• MAME는 낱말이 국소적 설명이 되고, 루트가 글로벌 설명이며, 중간 노드는 군집화된 설명을 통해 유도된 그룹 수준의 설명이 되는 다수준 설명 트리를 구성한다.
• 유사한 블랙박스 예측을 가진 점들에 대해 설명의 유사성을 강제하는 공동 최적화 프레임워크를 사용하며, 예측 유사도 기반의 가중치가 부여된 인접 행렬을 활용한다.
• 사용자가 지정한 그룹화나 클래스 기반 유사도와 같은 보조 정보를 활용하여 군집화 및 설명의 밀도를 안내할 수 있다.
• 일반화된 가산 모델(GAMs, LIME 등)을 대상으로 MAME는 수렴 성질이 입증된 빠른 근사 알고리즘을 도입한다.
• 고정된 비제로 특성 수를 갖는 희소하고 해석 가능한 설명을 보장하기 위해 후처리를 수행한다.
• 이 방법은 모델에 종속되지 않으며, 매개변수 형태를 갖는 임의의 국소적 설명 방법에 적용 가능하다.

실험 결과

연구 질문

• RQ1 다수준 설명은 국소적 또는 글로벌 설명만으로는 포착되지 않는 통찰을 제공할 수 있는가?
• RQ2 유의미한 중간 수준의 그룹화를 생성하기 위해 설명 간 밀도를 어떻게 제어할 수 있는가?
• RQ3 기존 방법들인 Two Step 및 SP-LIME와 비교해 MAME는 설명 정확도를 향상시키는가?
• RQ4 고정된 정확도 수준을 유지하면서 MAME는 효율적으로 확장 가능한가?
• RQ5 전문가 및 비전문가 사용자들이 다수준 설명의 해석 가능성과 유용성에 대해 어떻게 평가하는가?

주요 결과

• 분류 데이터셋에서 MAME는 Two Step 및 SP-LIME보다 일반화된 정확도에서 뛰어나며, 특히 클러스터 수가 적을 경우에 이는 해석 가능성에 있어 핵심적인 요소가 된다.
• Auto MPG 회귀 데이터셋에서는 MAME와 Two Step가 유사하게 성능을 보이며, SP-LIME를 모두 능가한다. 이는 데이터셋의 단순성에 기인한 것으로 기대되는 결과이다.
• ATIS 데이터셋에서는 SP-LIME가 너무 느려 확장이 어려웠지만, MAME는 효율적이고 효과적인 성능을 유지했다.
• MAME의 특성 중요도 순위는 다른 방법들보다 블랙박스 모델의 진짜 특성 중요도에 더 가까웠으며, Waveform를 제외한 모든 경우에서 우수한 성능을 보였다.
• 전문가 및 비전문가 사용자에 대한 사용자 연구를 통해 다수준 설명이 국소적 또는 글로벌 뷰에 포함되지 않는 독립적이고 중복되지 않는 통찰을 제공한다는 것이 확인되었다.
• 이 방법은 실용적인 해석 가능성 가치를 보여주기 위해, 유사한 유형을 가졌지만 동작 방식이 다른 다양한 제조사의 펌프 그룹과 같은 의미 있는 그룹화를 성공적으로 식별했다.