[논문 리뷰] OptiLIME: Optimized LIME Explanations for Diagnostic Computer Algorithms

Giorgio Visani, E. Bagli외 1명|arXiv (Cornell University)|2020. 06. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 33인용 수 18

한 줄 요약

OptiLIME는 원래 모델에 대한 충실도와 설명의 신뢰성 사이의 균형을 맞추기 위해 커널 폭을 최적화함으로써 LIME의 안정성을 향상시키는 새로운 프레임워크이다. 베이지안 최적화를 사용해 최적의 커널 폭를 자동으로 선택함으로써 안정적이고 해석 가능하며 수학적으로 투명한 설명을 보장한다. 이는 고위험도의 의료 응용 분야에서 특히 유용하다.

ABSTRACT

Local Interpretable Model-Agnostic Explanations (LIME) is a popular method to perform interpretability of any kind of Machine Learning (ML) model. It explains one ML prediction at a time, by learning a simple linear model around the prediction. The model is trained on randomly generated data points, sampled from the training dataset distribution and weighted according to the distance from the reference point - the one being explained by LIME. Feature selection is applied to keep only the most important variables. LIME is widespread across different domains, although its instability - a single prediction may obtain different explanations - is one of the major shortcomings. This is due to the randomness in the sampling step, as well as to the flexibility in tuning the weights and determines a lack of reliability in the retrieved explanations, making LIME adoption problematic. In Medicine especially, clinical professionals trust is mandatory to determine the acceptance of an explainable algorithm, considering the importance of the decisions at stake and the related legal issues. In this paper, we highlight a trade-off between explanation's stability and adherence, namely how much it resembles the ML model. Exploiting our innovative discovery, we propose a framework to maximise stability, while retaining a predefined level of adherence. OptiLIME provides freedom to choose the best adherence-stability trade-off level and more importantly, it clearly highlights the mathematical properties of the retrieved explanation. As a result, the practitioner is provided with tools to decide whether the explanation is reliable, according to the problem at hand. We extensively test OptiLIME on a toy dataset - to present visually the geometrical findings - and a medical dataset. In the latter, we show how the method comes up with meaningful explanations both from a medical and mathematical standpoint.

연구 동기 및 목표

• 랜덤 샘플링으로 인해 동일한 예측에 대해 일관되지 않은 설명을 생성하는 LIME의 불안정성 문제를 해결하기 위해.
• 의료 분야에서 LIME 설명의 신뢰성을 높이기 위해 충실도를 희생시키지 않고도 안정성을 향상시키기 위해.
• 설명의 안정성과 원본 기계학습 모델에 대한 충실도 사이의 최적의 트레이드오프를 선택할 수 있는 원칙적인 방법을 제공하기 위해.
• 임상 의사결정 지원과 책임 소재 규명을 지원하는 투명하고 수학적으로 기반을 둔 설명을 가능하게 하기 위해.
• 사용자가 정의한 충실도 기준을 바탕으로 커널 폭 선택을 자동화하는 프레임워크를 개발하여 사용성과 신뢰성을 향상시키기 위해.

제안 방법

• LIME를 핵심 구성요소로 분해: 샘플링, 가중치 부여, 특성 선택, 국소 선형 모델 피팅.
• 베이지안 최적화를 사용해 안정성을 극대화하면서도 사전 정의된 수준의 충실도(결정계수 R² ≥ 0.9)를 유지하는 최적의 커널 폭를 탐색.
• 리지 페널티를 표준 선형 회귀로 대체하여, 더 나은 성능을 보이고 불필요한 정규화를 방지함을 입증.
• 설명 일관성의 정도를 측정하기 위해 분산 기반 지표(VSI 및 CSI)를 사용해 안정성을 정의.
• 사용자가 정의한 충실도 기준(예: R² ≥ 0.9)을 도입해 최적화 과정을 원본 모델의 국소 행동을 잘 반영하는 설명에 국한.
• 시각화를 위한 토이 데이터셋과 실제 의료 데이터셋(NHANES)에 프레임워크를 적용하여 성능과 임상적 관련성을 검증.

실험 결과

연구 질문

• RQ1 LIME에서 커널 폭의 선택이 국소 설명의 안정성과 충실도에 어떤 영향을 미치는가?
• RQ2 자동화된 프레임워크가 원하는 안정성과 원본 모델에 대한 충실도 사이의 트레이드오프를 달성할 수 있는가?
• RQ3 리지 정규화가 LIME의 성능에 어떤 영향을 미치며, 안정적이고 정확한 설명을 위해 필수적인가?
• RQ4 OptiLIME는 실제 의료 데이터셋에서 얼마나 안정적이고 신뢰할 수 있으며 임상적으로 의미 있는 설명을 생성할 수 있는가?
• RQ5 다른 인구군(예: 연령이 많은 환자 vs. 젊은 환자)은 국소 모델 행동에 따라 어떻게 다른 설명 민감도를 보이는가?

주요 결과

• OptiLIME는 사용자가 요구한 R² = 0.9 이상의 충실도를 유지하면서도 낮은 VSI 및 CSI 값으로 높은 안정성을 성취했다.
• 특정 인스턴스에 대한 최적의 커널 폭는 원본 기계학습 모델의 국소 비선형성의 정도에 따라 달라지며, 더 복잡한 영역일수록 좁은 커널 폭가 필요하다.
• Unit 100(나이 65세)의 경우 Unit 7207(나이 49세)보다 더 높은 최적의 커널 폭를 보였으며, 이는 전자의 국소 비선형성이 낮음을 반영한다.
• 작은 커널 폭는 더 높은 충실도를 제공하지만 안정성을 떨어뜨리므로, 충실도와 일관성 사이의 상충 관계를 확인했다.
• LIME에서 리지 페널티의 사용은 불필요하며 해로운 영향을 미친다. 단순 선형 회귀는 충실도와 안정성 양 측면에서 더 우수한 성능을 보였다.
• OptiLIME는 런에 따른 설명 일관성을 감소시켰으며, p=10, m=30의 베이지안 검색 파라미터를 사용한 4코어 노트북에서 인스턴스당 123~147초의 계산 시간을 기록했다.