[논문 리뷰] A Modified Perturbed Sampling Method for Local Interpretable Model-agnostic Explanation

Sheng Shi, Xinfeng Zhang외 1명|arXiv (Cornell University)|2020. 02. 18.

Explainable Artificial Intelligence (XAI)인용 수 16

한 줄 요약

이 논문은 초분할 영역을 무방향 그래프로 변환하고, 샘플링을 클리크 집합 구성 문제로 공식화하여 이미지 데이터의 특징 상관관계를 모델링하는 수정된 흐름 샘플링 방법인 MPS-LIME를 제안한다. 실험 결과, 표준 LIME에 비해 상당히 높은 정밀도(R² ≈ 0.9), 더 높은 예측 정확도(MAE ↓ 80%), 그리고 더 빠른 런타임(≈50% 감소)을 달성하였다. 이는 Inception 및 랜덤 포레스트 모델에서 성과가 뛰어나다는 것을 보여준다.

ABSTRACT

Explainability is a gateway between Artificial Intelligence and society as the current popular deep learning models are generally weak in explaining the reasoning process and prediction results. Local Interpretable Model-agnostic Explanation (LIME) is a recent technique that explains the predictions of any classifier faithfully by learning an interpretable model locally around the prediction. However, the sampling operation in the standard implementation of LIME is defective. Perturbed samples are generated from a uniform distribution, ignoring the complicated correlation between features. This paper proposes a novel Modified Perturbed Sampling operation for LIME (MPS-LIME), which is formalized as the clique set construction problem. In image classification, MPS-LIME converts the superpixel image into an undirected graph. Various experiments show that the MPS-LIME explanation of the black-box model achieves much better performance in terms of understandability, fidelity, and efficiency.

연구 동기 및 목표

• 표준 LIME의 균일한 랜덤 샘플링 방식이 이미지 데이터의 특징 상관관계를 忽시하는 한계를 해결하기 위해.
• 초분할 영역 간의 공간적 상관관계를 통합하여 국소 모델 설명의 정밀도와 이해 가능성 향상하기 위해.
• 무효한 흐름 샘플 수를 줄임으로써 계산 효율성 향상하기 위해.
• 초분할 영역 그래프에서의 클리크 집합 구성 문제로 흐름 샘플링을 공식화하여 보다 나은 국소 모델 피팅을 위한 것.
• Inception 및 랜덤 포레스트 분류기와 같은 다양한 블랙박스 모델에서 본 방법의 우수성을 입증하기 위해.

제안 방법

• 입력 이미지를 초분할 표현으로 변환하여 이해 가능하고 저차원의 특징 공간을 생성하기 위해.
• 정점이 초분할 영역을 나타내고, 공간적으로 인접한 초분할 영역 간에 간선을 연결하는 무방향 그래프를 구축하기 위해.
• 흐름 샘플링 작업을 그래프 내 최대 클리크(서로 모두 연결된 정점의 부분 집합)를 찾는 문제로 공식화하기 위해.
• 개별 초분할 영역을 무작위로 선택하는 대신, 전체 클리크를 활성화하여 흐름 샘플을 생성하기 위해.
• 클리크 기반의 흐름 변형에 기반해 국소 선형 모델을 피팅하여 블랙박스 모델의 예측을 설명하기 위해.
• 결과 설명 모델을 사용해 국소 서rogate 모델의 계수에 기반해 특징 중요도 가중치를 할당하기 위해.

실험 결과

연구 질문

• RQ1 이미지 데이터의 특징 상관관계를 모델링하면 LIME 기반 설명의 정밀도가 향상되는가?
• RQ2 균일한 랜덤 샘플링 대비 클리크 기반 샘플링이 비현실적인 흐름 샘플의 수를 줄이는가?
• RQ3 제안된 방법은 정확도를 희생시키지 않고 국소 설명의 효율성을 향상시킬 수 있는가?
• RQ4 실제 이미지 분류기에서 MPS-LIME는 표준 LIME에 비해 예측 정밀도와 런타임 측면에서 어떻게 비교되는가?
• RQ5 클리크 기반 샘플링 접근법은 다른 모델에 종속적이지 않은 설명 방법으로 일반화 가능한가?

주요 결과

• MPS-LIME는 Inception 모델에서 평균 R² 점수 0.9를 기록하여 LIME의 평균 0.65보다 뚜렷이 높은 정밀도를 보이며, 블랙박스 예측을 설명하는 데서 뛰어난 정밀도를 입증하였다.
• MPS-LIME의 평균 절대 오차(MAE)는 LIME 대비 약 80% 감소하였으며, 평균적으로 0.35에서 0.015로 감소하였다.
• MPS-LIME의 런타임은 LIME의 시간의 약 50%로 줄었으며, 여섯 개의 테스트 이미지에서 평균 실행 시간이 각각 120ms 대비 230ms였다.
• 모든 테스트 케이스에서 MPS-LIME는 더 정확하고 안정적인 확률 예측을 생성하였으며, 예측 확률이 진짜 Inception 모델 출력에 더 가까웠다.
• MPS-LIME의 시각적 설명은 더 의미적으로 일관되고 관련성이 높은 초분할 영역을 강조하여 해석 가능성 향상을 이룩하였다.
• 모든 이미지 클래스(변태, 나비, 성 등)에서 일관된 성능 향상을 보이며, 강건성을 확인하였다.