[논문 리뷰] bLIMEy: Surrogate Prediction Explanations Beyond LIME

Kacper Sokol, Alexander Hepburn외 2명|arXiv (Cornell University)|2019. 10. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 11

한 줄 요약

이 논문은 bLIMEy를 소개한다. bLIMEy는 설명 과정을 독립적이고 상호교환 가능한 구성 요소로 분해함으로써 사용자가 블랙박스 기계학습 모델을 위한 맞춤형 서rogate 해석기(설명기)를 구축할 수 있도록 해주는 모듈러이고 오픈소스 프레임워크이다. 해석 가능성 표현, 샘플링, 서rogate 모델링을 분리함으로써 bLIMEy는 특정 데이터 유형과 작업에 맞게 해석기를 맞춤화할 수 있도록 하여, LIME과 같은 단일 도구에 비해 더 높은 품질과 안정성을 확보한다. 이 프레임워크는 표본, 이미지, 텍스트 데이터를 모두 지원한다.

ABSTRACT

Surrogate explainers of black-box machine learning predictions are of paramount importance in the field of eXplainable Artificial Intelligence since they can be applied to any type of data (images, text and tabular), are model-agnostic and are post-hoc (i.e., can be retrofitted). The Local Interpretable Model-agnostic Explanations (LIME) algorithm is often mistakenly unified with a more general framework of surrogate explainers, which may lead to a belief that it is the solution to surrogate explainability. In this paper we empower the community to "build LIME yourself" (bLIMEy) by proposing a principled algorithmic framework for building custom local surrogate explainers of black-box model predictions, including LIME itself. To this end, we demonstrate how to decompose the surrogate explainers family into algorithmically independent and interoperable modules and discuss the influence of these component choices on the functional capabilities of the resulting explainer, using the example of LIME.

연구 동기 및 목표

• LIME와 같은 단일 구조이자 설정 불가능한 서rogate 해석기의 한계를 해결하기 위해, 커스터마이제이션 제약과 안정성 문제를 완화한다.
• 서rogate 해석을 독립적이고 상호운용 가능한 구성 요소로 분해함으로써 더 큰 유연성과 제어력을 제공하는 원칙적인 모듈러 프레임워크를 제공한다.
• 알고리즘적 선택 사항을 명시하고 그 영향을 이해할 수 있도록 하여 사용자가 작업에 특화된 해석기를 구축할 수 있도록 한다.
• LIME의 알려진 문제들—예: 안정성 문제와 국소성 부족—을 아키텍처 분해와 구성 요소 재구성으로 체계적으로 해결한다.
• 유연한 라이선스 하에 오픈소스로 제공되는 재사용 가능한 구성 요소를 통해 서rogate 해석기의 광범위한 보급을 지원한다.

제안 방법

• 서rogate 해석을 세 가지 핵심 모듈로 분해한다: 해석 가능성 표현, 데이터 샘플링, 서rogate 모델 훈련.
• 원본 데이터에서 해석 가능한 이진 벡터(예: 슈퍼픽셀, 백오브워즈, 또는 이산화된 수치형 특징)로의 双방향 변환을 도입한다.
• 샘플된 변형을 원본 데이터 포인트와 해석 가능한 공간에서 비교함으로써 국소성을 유지하는 XNOR 기반 특징 변환을 활용한다.
• 선형 모델(특징 중요도용)과 결정트리(논리 조건 기반 설명용)를 포함한 다양한 서rogate 모델을 지원한다.
• 샘플링 전략(예: 국소적 vs. 전역적)과 표현 방법의 모듈러 선택을 가능하게 하며, 이의 성능 및 상호 간의 트레이드오프와 최적 실천 방법에 대한 명확한 안내를 제공한다.
• BSD 3-클라우즈 라이선스 하에 Python으로 구현된 오픈소스 구현체를 제공하며, 맞춤형 해석기를 조립하기 위한 종합적인 '가이드'를 포함한다.

실험 결과

연구 질문

• RQ1 서rogate 해석 프레임워크는 어떻게 모듈러화되어야 하며, 이를 통해 사용자가 작업에 특화된 설계 선택을 자유롭게 할 수 있을까?
• RQ2 서rogate 해석기에서 다양한 구성 요소 선택(예: 샘플링 방법, 표현 방식, 서rogate 모델)이 기능적 성능과 안정성에 미치는 영향은 무엇인가?
• RQ3 LIME의 알려진 문제들—예: 안정성 문제와 국소성 부족—은 아키텍처 분해와 구성 요소 재구성으로 체계적으로 해결될 수 있는가?
• RQ4 사용자가 단일 도구에 의존하지 않고도 서rogate 해석 파이프라인 전반에서 정보 기반의 합리적 선택을 어떻게 내릴 수 있는가?
• RQ5 다양한 데이터 유형에서 국소적 해석의 충실도, 안정성, 해석 가능성은 모듈러 프레임워크의 도입으로 얼마나 향상될 수 있는가?

주요 결과

• bLIMEy 프레임워크는 서rogate 해석을 세 가지 독립적이고 상호운용 가능한 모듈—해석 가능성 표현, 샘플링, 서rogate 모델링—으로 성공적으로 분해하였다.
• 이 프레임워크는 표본, 이미지, 텍스트 데이터에 대해 LIME을 재현할 수 있으며, XNOR 기반 특징 변환을 통해 안정성 문제와 낮은 국소성 문제를 완화한다.
• 적절한 정규화와 해석 가능한 표현은 선형 서rogate 모델에서 의미 있는 특징 중요도를 확보하는 데 필수적이다. 이를 생략할 경우 가중치는 비교 불가능해지고 설명은 정보가 없어진다.
• 선형 모델 대신 서rogate 결정트리를 사용하면 논리 조건 기반 설명이 가능해지며, 이는 '왜 클래스 A이고 B가 아니냐?'와 같은 질문에 더 적합하다.
• 모듈러 설계 덕분에 사용자는 원하는 설명 유형(예: 특징 중요도 vs. 논리 규칙)에 따라 구성 요소를 선택할 수 있어 문제 맥락에 맞게 해석기를 맞춤화할 수 있다.
• BSD 3-클라우즈 라이선스 하에 제공되는 오픈소스 구현체는 상용 사용과 작업에 특화된 해석기의 커뮤니티 기반 개발을 촉진한다.