[논문 리뷰] Assessing the Local Interpretability of Machine Learning Models

Dylan Slack, Sorelle A. Friedler외 2명|arXiv (Cornell University)|2019. 02. 09.

Explainable Artificial Intelligence (XAI)참고 문헌 22인용 수 48

한 줄 요약

본 논문은 두 가지 로컬 해석 정의—simulatability와 what-if local explainability—를 의사 결정 트리, 로지스틱 회귀, 신경망에 걸쳐 대규모 크라우드소싱 연구와 런타임-작업 카운트 프록시 메트릭을 사용하여 경험적으로 평가한다.

ABSTRACT

The increasing adoption of machine learning tools has led to calls for accountability via model interpretability. But what does it mean for a machine learning model to be interpretable by humans, and how can this be assessed? We focus on two definitions of interpretability that have been introduced in the machine learning literature: simulatability (a user's ability to run a model on a given input) and "what if" local explainability (a user's ability to correctly determine a model's prediction under local changes to the input, given knowledge of the model's original prediction). Through a user study with 1,000 participants, we test whether humans perform well on tasks that mimic the definitions of simulatability and "what if" local explainability on models that are typically considered locally interpretable. To track the relative interpretability of models, we employ a simple metric, the runtime operation count on the simulatability task. We find evidence that as the number of operations increases, participant accuracy on the local interpretability tasks decreases. In addition, this evidence is consistent with the common intuition that decision trees and logistic regression models are interpretable and are more interpretable than neural networks.

연구 동기 및 목표

• ML 모델에 대한 로컬 해석 가능성 개념(시뮬레이션 가능성 및 what-if 로컬 설명 가능성)을 정의하고 검증한다.
• 전형적인 모델들(의사 결정 트리, 로지스틱 회귀, 신경망)이 로컬 해석 가능성에서 차이가 있는지 평가한다.
• 런타임 연산 수의 간단한 프록시가 로컬 해석 가능성을 사용자 관점에서 측정하는 대리 척도로 작동할 수 있는지 평가한다.
• 인간 해석 가능성 고려사항에 기반한 모델 선택에 대한 실증 벤치마크와 가이드를 제공한다.【NOTE: 원문에 영어 키워드가 포함되어 있지 않으므로 번역 유지】

제안 방법

• 두 개의 로컬 해석 가능 작업 정의(입력에서 모델 시뮬레이션; 작은 입력 변화에 따른 출력 결정).
• 합성 데이터 세트를 사용하여 세 가지 모델 유형(의사 결정 트리, 로지스틱 회귀, 신경망)을 학습하고 표현한다.
• 예측 중 런타임 연산(산술 및 불리언)을 계측하고 카운트하여 해석 가능성 프록시 메트릭을 도출한다.
• 모델과 입력에 대해 시뮬레이션 가능성과 what-if 설명 가능성을 검증하기 위해 1000명의 참가자를 대상으로 크라우드소싱 연구를 수행한다.
• 연산 카운트의 함수로서 시간과 정확도를 분석하고 피셔 정확성 검정과 보정된 보네포리(p-values)로 모델을 비교한다.

실험 결과

연구 질문

• RQ1 다른 모델 유형에서 인간은 시뮬레이션 가능성과 what-if 로컬 설명 가능성 작업에서 더 잘 수행하는가?
• RQ2 의사 결정 트리, 로지스틱 회귀, 신경망 간 로컬 해석 가능성의 상대적 순서가 존재하는가?
• RQ3 전체 런타임 연산 수가 작업 수행 시간 및 로컬 해석 가능성 작업의 정확도와 상관관계가 있는가?
• RQ4 연산 카운트가 모델 간 로컬 해석 가능성의 대리 척도가 될 수 있는가?

주요 결과

• 의사 결정 트리와 로지스틱 회귀는 주어진 표현에서 로컬 해석 가능성이 있으며; 신경망은 그렇지 않다.
• 의사 결정 트리는 시뮬레이션 가능성과 what-if 작업 모두에서 로지스틱 회귀와 신경망보다 로컬 해석 가능성이 더 높다.
• 연산 카운트가 증가함에 따라 사용자가 로직 해석 가능성 작업을 수행하는 데 시간이 더 걸리고 정확도가 떨어지며, 특히 의사 결정 트리에서 그렇다.
• 신경망은 시뮬레이션 시간이 현저하게 길고 더 큰 크기에서 시뮬레이션 가능하지 못하게 될 수 있으며; 큰 연산 카운트는 로컬 해석 가능성을 제한한다.
• 연구는 피셔 검정에 의해 DT > LR > NN의 상대적 로컬 해석 가능성에 대한 강한 증거를 제공한다.
• 제안된 대리 척도(런타임 연산 수)는 작업 및 모델 전반에 걸친 시간 및 정확도 추세를 추적한다.