[논문 리뷰] Tell Me a Story! Narrative-Driven XAI with Large Language Models

David Martens, James Hinns외 3명|arXiv (Cornell University)|2023. 09. 29.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 설명 가능한 인공지능(XAI)을 위한 서사 기반 접근법인 XAIstories를 소개한다. 이는 SHAP 및 역설적 대체(Counterfactual, CF) 설명에서 인간이 이해하기 쉬운 자연어 설명을 생성하기 위해 대규모 언어 모델(LLM)을 활용한다. 연구 결과, 일반 사용자 중 90퍼센트 이상이 SHAPstories를 신뢰할 만하다고 평가했으며, CFstories는 수작업으로 작성된 서사보다 10배 빠르고 정확도가 20퍼센트 이상 향상되어 AI 시스템의 해석 가능성 격차를 해소하는 데 효과적인 솔루션을 제공한다.

ABSTRACT

In many AI applications today, the predominance of black-box machine learning models, due to their typically higher accuracy, amplifies the need for Explainable AI (XAI). Existing XAI approaches, such as the widely used SHAP values or counterfactual (CF) explanations, are arguably often too technical for users to understand and act upon. To enhance comprehension of explanations of AI decisions and the overall user experience, we introduce XAIstories, which leverage Large Language Models to provide narratives about how AI predictions are made: SHAPstories do so based on SHAP explanations, while CFstories do so for CF explanations. We study the impact of our approach on users' experience and understanding of AI predictions. Our results are striking: over 90% of the surveyed general audience finds the narratives generated by SHAPstories convincing. Data scientists primarily see the value of SHAPstories in communicating explanations to a general audience, with 83% of data scientists indicating they are likely to use SHAPstories for this purpose. In an image classification setting, CFstories are considered more or equally convincing as the users' own crafted stories by more than 75% of the participants. CFstories additionally bring a tenfold speed gain in creating a narrative. We also find that SHAPstories help users to more accurately summarize and understand AI decisions, in a credit scoring setting we test, correctly answering comprehension questions significantly more often than they do when only SHAP values are provided. The results thereby suggest that XAIstories may significantly help explaining and understanding AI predictions, ultimately supporting better decision-making in various applications.

연구 동기 및 목표

• 복잡한 AI 모델에 대한 인간에게 친화적이고 일관성 있는 설명이 부족한 문제를 해결하기 위해, 특히 설명 가능성의 중요성이 요구되는 핵심 분야에서의 적용을 목적으로 한다.
• SHAP 및 역설적 대체 설명의 한계—기술적 복잡성과 서사적 일관성 부족—을 극복하기 위해, 이를 자연어 서사로 변환함으로써 해결책을 제시한다.
• 일반 사용자와 데이터 과학자 모두가 LLM으로 생성된 서사(XAIstories)가 수작업으로 작성된 서사보다 더 설득력 있고 정확하며 효율적인지 평가한다.
• XAIstories가 비전문가 대상으로 AI 결정을 효과적으로 전달하고 AI 시스템에 대한 신뢰도와 이해도를 향상시키는 데 어떤 잠재력을 지니고 있는지 평가한다.

제안 방법

• XAIstories는 미세조정된 대규모 언어 모델(LLM)을 활용하여 SHAP 값에서 예측 점수에 기여하는 특성 기여도를 설명하는 서사적 설명(SHAPstories)을 생성한다.
• 역설적 대체 설명의 경우, XAIstories는 예측 클래스를 변화시킬 수 있는 입력 특성의 최소 변경을 설명하는 서사를 생성하며, 이를 '만약~한다면' 시나리오로 구성한다.
• SHAP 및 CF 출력에서 유도된 프롬프트 기반 및 구조화된 입력 템플릿을 사용하여 LLM이 일관성 있고 사실적이며 맥락에 부합하는 서사를 생성하도록 이끈다.
• 일반 참가자와 데이터 과학자들을 대상으로 한 사용자 연구를 통해 LLM으로 생성된 서사와 수작업 서사, 기준 설명 간의 성능을 비교 평가한다.
• 평가 지표로는 신뢰도 평가, 서사 품질, 생성 속도, 설명 내용의 정확도를 포함하며, 통계 분석을 통해 결과의 타당성을 검증한다.
• 테이블 형 데이터(학생 성취도 예측) 및 이미지 분류(MobileNet V2의 잘못된 분류)에 적용하여 다중 도메인 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 LLM으로 생성된 서사(XAIstories)는 비전문가 사용자들에게 SHAP 설명의 명확성과 신뢰도를 크게 향상시킬 수 있는가?
• RQ2 CFstories는 수작업 서사와 비교해 신뢰도, 정확도, 생성 속도 측면에서 어떤가?
• RQ3 데이터 과학자들은 XAIstories를 비전문가 스타크홀더에게 AI 설명을 전달하는 데 있어 얼마나 유용하게 평가하는가?
• RQ4 SHAP 및 역설적 대체에서 유도된 서사적 설명은 실제 의사결정 환경에서 사용자 신뢰도와 AI 예측 이해도를 향상시킬 수 있는가?

주요 결과

• 일반 대중의 90퍼센트 이상이 SHAPstories를 설득력 있다고 평가하여, LLM으로 생성된 서사가 SHAP 설명에 대해 높은 수용도를 보임을 시사한다.
• 92퍼센트의 데이터 과학자가 SHAPstories가 비전문가가 AI 예측을 이해하는 데 있어 용이함과 자신감을 높일 수 있을 것으로 평가했다.
• 83퍼센트의 데이터 과학자가 비전문가 대상으로 설명을 전달하기 위해 SHAPstories를 사용할 가능성이 높다고 응답했다.
• 이미지 분류 분야에서, 75퍼센트 이상의 일반 사용자가 CFstories를 사용자가 직접 작성한 서사와 동일하거나 더 설득력 있다고 평가했다.
• CFstories는 수작업 서사 작성 대비 서사 생성 시간을 10배 단축시켜 뚜렷한 효율성 향상을 보였다.
• CFstories는 수작업으로 생성된 설명보다 서사 정확도를 20퍼센트 이상 향상시켜 기반 역설적 대체 논리에 대한 충실도가 높다는 것을 시사한다.