[논문 리뷰] An Extension of LIME with Improvement of Interpretability and Fidelity

Sheng Shi, Yangzhou Du외 1명|arXiv (Cornell University)|2020. 04. 26.

Explainable Artificial Intelligence (XAI)참고 문헌 12인용 수 4

한 줄 요약

이 논문은 LIME의 확장인 LEDSNA를 제안하며, 클러스터링 기반 샘플링을 통해 특성 간 의존성을 통합하고, 서포트 벡터 회귀(SVR)를 사용해 비선형 결정 경계를 모델링함으로써 국소 모델의 해석 가능성과 정확도를 향상시킨다. 실험 결과, 이미지 및 텍스트 분류 작업 전반에서 LEDSNA는 LIME보다 유의미하게 높은 정확도(R²가 높음)와 낮은 근사 오차를 달성한다.

ABSTRACT

While deep learning makes significant achievements in Artificial Intelligence (AI), the lack of transparency has limited its broad application in various vertical domains. Explainability is not only a gateway between AI and real world, but also a powerful feature to detect flaw of the models and bias of the data. Local Interpretable Model-agnostic Explanation (LIME) is a widely-accepted technique that explains the prediction of any classifier faithfully by learning an interpretable model locally around the predicted instance. As an extension of LIME, this paper proposes an high-interpretability and high-fidelity local explanation method, known as Local Explanation using feature Dependency Sampling and Nonlinear Approximation (LEDSNA). Given an instance being explained, LEDSNA enhances interpretability by feature sampling with intrinsic dependency. Besides, LEDSNA improves the local explanation fidelity by approximating nonlinear boundary of local decision. We evaluate our method with classification tasks in both image domain and text domain. Experiments show that LEDSNA's explanation of the back-box model achieves much better performance than original LIME in terms of interpretability and fidelity.

연구 동기 및 목표

• LIME이 편향 샘플링 중 특성 상관관계를 다루는 데에 한계가 있다는 문제를 해결한다.
• 국소 선형성 가정 대신 비선형 결정 경계를 모델링하여 국소 설명의 정확도를 향상시킨다.
• 샘플링된 인스턴스에 현실적인 특성 의존성을 유지함으로써 해석 가능성성을 향상시킨다.
• 시각 및 자연어 처리 분야의 복잡한 딥러닝 모델에 적용 가능한 일반적인, 모델에 종속되지 않는 설명 방법을 개발한다.
• 정확도 및 해석 가능성 메트릭 기준으로 다양한 분류 작업에서 LIME에 비해 일관되게 뛰어난 성능을 보임을 입증한다.

제안 방법

• 이미지의 슈퍼픽셀 클러스터링과 텍스트의 단어 분할을 활용해 특성 의존성 인식 샘플링 전략을 도입하여 현실적인 변형된 샘플을 생성한다.
• 상관관계가 있는 특성을 클러스터링하여 관련된 특성 부분집합만 샘플링함으로써 노이즈를 감소시키고 국소 모델의 품질을 향상시킨다.
• 핵 함수를 사용한 서포트 벡터 회귀(SVR)를 적용해 블랙박스 모델의 국소 비선형 결정 경계를 근사한다.
• 정규화된 손실 함수를 최적화하여 설명 모델을 조정한다: $ J(\theta) = \text{argmin} \{ L(f(x), g_\theta(x)) + \lambda \Omega(\theta) \} $, 이는 정확도와 모델 단순성 간 균형을 이룬다.
• SVR에 가우시안 커널을 사용해 데이터를 고차원 공간으로 매핑함으로써 효과적인 비선형 근사화를 가능하게 한다.
• 관심 있는 인스턴스 주변의 특성 의존성 인식 변형 샘플에 기반해 해석 가능한 모델(SVR)을 피팅함으로써 국소 설명을 구성한다.

실험 결과

연구 질문

• RQ1 샘플링 단계에서 특성 의존성을 통합하면 LIME의 균일 샘플링 대비 국소 설명의 품질이 향상되는가?
• RQ2 국소 선형성 가정 대신 비선형 결정 경계를 모델링하면 국소 설명의 정확도가 향상되는가?
• RQ3 다양한 데이터 모odal에서 LEDSNA는 LIME 대비 해석 가능성 및 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 클러스터링 기반 샘플링이 국소 설명 모델의 근사 오차를 얼마나 줄이는가?
• RQ5 이 방법은 이미지 및 텍스트 분류 작업 전반에서 높은 정확도와 해석 가능성 유지가 가능한가?

주요 결과

• LEDSNA는 LIME보다 유의미하게 낮은 국소 근사 오차를 기록했으며, 텍스트 분류에서 평균 오차 감소 폭이 한 계급 수준이다.
• 이미지 분류에서 LEDSNA의 R² 점수는 항상 LIME보다 높았으며, 이는 블랙박스 모델 예측을 더 정확하게 근사함을 시사한다.
• 테스트 케이스 1000개의 95%에서 LEDSNA의 근사 오차는 LIME보다 작았고, 98.4%의 케이스에서 R² 점수가 더 높았다.
• 중국어 텍스트 감성 분석에서, 높은 신뢰도를 가진 샘플에 대해 LEDSNA는 R² 0.9533과 오차 0.0001을 기록했고, LIME는 R² 0.5779와 오차 0.0335를 기록하여 LEDSNA가 뛰어난 성능을 보였다.
• LEDSNA의 시각적 설명은 LIME보다 더 유용하고 정확한 특성 기여도를 제공했으며, 특히 텍스트 내 의미적 의존성을 잘 포착했다.
• 이 방법은 높은 신뢰도와 낮은 신뢰도 예측 모두에 걸쳐 뛰어난 성능을 보이며, 실제 환경에서의 신뢰성과 일반화 능력을 확인했다.