[논문 리뷰] Nothing Else Matters: Model-Agnostic Explanations By Identifying Prediction Invariance

Marco Túlio Ribeiro, Sameer Singh외 1명|arXiv (Cornell University)|2016. 11. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 62

한 줄 요약

이 논문은 모델에 종속되지 않는 방법인 aLIME를 소개한다. aLIME는 예측 불변성(예측이 다른 특성의 변화에 영향을 받지 않는 특성 조합)을 보장하는 국소적이고 규칙 기반의 설명(앵커)을 생성한다. Hoeffding 경계를 사용하는 탐욕적 샘플링 기반 알고리즘을 통해 aLIME는 높은 정밀도와 해석 가능한 설명을 제공하며, 명확한 적용 범위를 가진다. 이는 텍스트, 이미지, 시각질문응답 등 다양한 분야에서 시뮬레이션 및 실제 작업에서 선형 LIME보다 뛰어난 성능을 보였다.

ABSTRACT

At the core of interpretable machine learning is the question of whether humans are able to make accurate predictions about a model's behavior. Assumed in this question are three properties of the interpretable output: coverage, precision, and effort. Coverage refers to how often humans think they can predict the model's behavior, precision to how accurate humans are in those predictions, and effort is either the up-front effort required in interpreting the model, or the effort required to make predictions about a model's behavior. In this work, we propose anchor-LIME (aLIME), a model-agnostic technique that produces high-precision rule-based explanations for which the coverage boundaries are very clear. We compare aLIME to linear LIME with simulated experiments, and demonstrate the flexibility of aLIME with qualitative examples from a variety of domains and tasks.

연구 동기 및 목표

• 기존의 모델에 종속되지 않는 설명 방법들(예: LIME)이 명시적인 적용 범위와 높은 정밀도를 제공하지 못하는 문제를 해결하기 위해.
• 사람이 쉽게 이해하고 적용할 수 있는 직관적인 규칙 기반 설명을 개발하기 위해.
• 예측 불변성을 통해 설명의 정밀도와 명확한 적용 가능 범위를 동시에 확보하기 위해.
• PAC 프레임워크를 활용해 짧고 정밀도가 높은 앵커를 최적화하여 커버리지, 정밀도, 노력의 균형을 맞추기 위해.
• 이 방법이 텍스트, 이미지, 시각질문응답 등 다양한 도메인에서 효과적으로 작동함을 입증하기 위해.

제안 방법

• aLIME는 모델의 예측이 변하지 않는 조건을 만족하는 특성 제약 조건을 식별하는 IF-THEN 규칙으로 앵커를 생성한다.
• 정밀도를 극대화하기 위해 탐욕적 탐색을 사용하며, 앵커 조건에 따라 데이터 분포를 조건화한 몬테카를로 샘플링을 통해 정밀도를 추정한다.
• Hoeffding 경계를 적용하여 추정된 정밀도가 사용자가 정의한 오차 한계(1−ε) 내에 있으며 높은 확률로 유지됨을 보장한다.
• 현재 앵커의 정밀도가 1−ε를 초과할 경우 알고리즘이 정지되어 높은 신뢰성을 보장한다.
• 예측 불변성을 확보하기 위해 인스턴스 x를 기반으로 데이터 분포 𝒟(z|c,x)를 조건화하여 맥락에 맞는 샘플링을 가능하게 한다.
• 가장 효율적인 앵커 공간 탐색을 위해 부분합성 최적화(Submodular Pick) 기법을 사용한다.

실험 결과

연구 질문

• RQ1 명시적이고 해석 가능한 적용 범위를 가진 모델에 종속되지 않는 설명을 생성할 수 있는가?
• RQ2 낮은 인간 해석 노력으로도 높은 정밀도의 설명을 확보할 수 있는가?
• RQ3 기타 특성의 변화에 대해 모델의 예측이 불변이 되는 특성 조합을 어떻게 식별할 수 있는가?
• RQ4 규칙 기반 설명이 인간의 해석 가능성과 정밀도 측면에서 선형 근사보다 뛰어나게 작용할 수 있는가?
• RQ5 앵커는 테이블 데이터, 텍스트, 이미지, 시각질문응답 등 다양한 모odalities에서 어떻게 성능을 보이는가?

주요 결과

• aLIME는 높은 정밀도의 앵커를 생성한다: 이미지 분류 및 시각질문응답 작업에서 95% 이상의 정밀도를 기록했다.
• 기린 이미지 분류 작업에서, 회색 처리된 슈퍼픽셀을 무작위 이미지로 대체하더라도 앵커는 여전히 예측 불변성을 유지했다.
• 시각질문응답 작업에서 앵커는 모델의 편향을 드러냈다. 예를 들어, 질문에 'What'이 포함될 경우 95%의 확률로 'banana'로 예측했으며, 이는 잘못된 추론을 시사했다.
• 품사 태깅 작업에서는 앵커가 문법 패턴을 정확히 포착했다. 예를 들어, 대명사 뒤에 오는 'play'는 동사로 식별되었다.
• 시뮬레이션 실험에서 aLIME는 선형 LIME보다 높은 정밀도와 더 명확한 적용 조건을 보여주며 슈퍼리어한 성능을 보였다.
• 병원 재입원 예측 및 텍스트 분류 등 다양한 도메인에서 뚜렷하고 해석 가능한 짧은 규칙을 통해 높은 강건성을 입증했다.