[논문 리뷰] Causality-Aware Local Interpretable Model-Agnostic Explanations

Martina Cinquini, Riccardo Guidotti|arXiv (Cornell University)|2022. 12. 10.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 LIME의 원인관계 인식 확장인 CALIME를 제안하며, 특정 인스턴스의 주변에서 원인관계를 존중하는 합성 데이터를 생성함으로써 국소적 모델에 종속되지 않는 설명의 정확도를 향상시킨다. 무작위 변형 대신 gencda를 통한 원인관계 인식 데이터 생성을 도입함으로써, 특히 특성 수가 증가할수록 더 높은 설명 정확도와 안정성을 달성하지만, 계산 시간이 증가하는 비용이 수반된다.

ABSTRACT

A main drawback of eXplainable Artificial Intelligence (XAI) approaches is the feature independence assumption, hindering the study of potential variable dependencies. This leads to approximating black box behaviors by analyzing the effects on randomly generated feature values that may rarely occur in the original samples. This paper addresses this issue by integrating causal knowledge in an XAI method to enhance transparency and enable users to assess the quality of the generated explanations. Specifically, we propose a novel extension to a widely used local and model-agnostic explainer, which encodes explicit causal relationships within the data surrounding the instance being explained. Extensive experiments show that our approach overcomes the original method in terms of faithfully replicating the black-box model's mechanism and the consistency and reliability of the generated explanations.

연구 동기 및 목표

• 기존 XAI 방법들이 특성 간 상관관계를 무시하고 원인관계를 모델링하지 못하는 한계를 해결하기 위해.
• 합성 데이터 생성 과정에 원인관계 구조를 통합함으로써 국소적 모델에 종속되지 않는 설명의 정확도와 안정성을 향상시키기 위해.
• 실제로 존재할 법한, 원인관계에 기반한 데이터 분포를 바탕으로 설명을 제공함으로써 AI 결정에 대한 신뢰를 제고하기 위해.
• 원인관계 인식 데이터 생성이 랜덤 변형 기반 접근보다 더 자연스럽고 강건한 설명을 이끌어내는지 입증하기 위해.
• 표본 데이터와 연속형 특성 외의 분야로까지 확장 가능한 원인관계 인식 설명 기법의 기반을 마련하기 위해.

제안 방법

• LIME의 무작위 합성 데이터 생성 방식을 대체하여, 입력 특성의 원인관계 그래프를 존중하는 원인관계 인식 합성 데이터 생성기인 gencda를 도입한다.
• 해당 설명을 수행하기 전에 훈련 데이터에서 원인관계 그래프(DAG)를 추론하기 위해 원인관계 발견(NCDA)을 사용한다.
• 설명할 인스턴스의 국소적 주변에서, 원인관계 그래프에 정의된 조건부 분포에서 샘플링하여 합성 인스턴스를 생성한다.
• 원인관계로 생성된 합성 데이터를 기반으로 라소 정규화 선형 모델을 훈련하여 특성 중요도 설명을 도출한다.
• 원래 인스턴스와의 거리 함수를 사용해 합성 인스턴스에 가중치를 적용함으로써 국소 정확도를 유지한다.
• 생성된 데이터가 기반 원인관계 의존성에 부합하도록 보장함으로써, 부자연스럽거나 비현실적인 인스턴스 생성 가능성을 줄인다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성 과정에 원인관계 구조를 통합하면 국소적 모델에 종속되지 않는 설명의 정확도가 향상되는가?
• RQ2 원인관계 인식 데이터 생성 방식은 여러 실행 간에 더 안정적이고 일관된 설명을 도출하는가?
• RQ3 CALIME가 생성한 합성 인스턴스의 현실성은 LIME가 생성한 것과 비교해 분포적 현실성 측면에서 어떻게 다른가?
• RQ4 원인관계 구조를 통합할 경우 설명 품질과 계산 효율성 사이의 상충 관계는 어떻게 나타나는가?
• RQ5 원인관계 인식 설명은 사용자가 AI 결정에 대한 신뢰를 얼마나 향상시킬 수 있는가?

주요 결과

• CALIME는 모든 지표(AMD, AOD, ASM, ADM)에서 LIME를 초월하는 설명의 자연스러움을 보이며, 낮은 점수일수록 더 높은 자연스러움을 의미한다. 특히 statlog 및 wine-red와 같은 데이터셋에서 두드러진다.
• 정확도 측면에선, wdbc를 제외한 모든 데이터셋에서 CALIME가 LIME보다 높은 평균 정확도를 달성한다. wdbc에서는 LIME가 약간 우월하며(k=30 기준, 0.44 대비 0.41), 그러나 이는 미미한 격차이다.
• k > 4일 경우 CALIME는 더 높은 안정성을 보이며, LLE(Local LIME Error) 값이 낮아 다양한 변형에 대해 더 일관된 설명을 제공한다.
• AMD 및 AOD 점수의 낮아짐으로써 CALIME가 생성한 주변 영역이 LIME보다 더 조밀하고 원래 인스턴스에 더 가까운 것으로 나타나, 더 높은 국소 밀도와 현실성을 보여준다.
• 비록 장점이 많지만 CALIME는 LIME보다 상당히 느리며, 원인관계 그래프 추론 및 분포 학습으로 인해 1~2개의 지수 정도 더 많은 시간이 소요된다.
• 현재 이 방법은 연속형 특성에만 적용 가능하며, gencda와 ncda가 혼합형(이진/연속형) 데이터를 지원하지 않아 향후 연구의 핵심 방향으로 남아 있다.