[논문 리뷰] XAI for All: Can Large Language Models Simplify Explainable AI?

Philip Mavrepis, Georgios Makridis외 4명|arXiv (Cornell University)|2024. 01. 23.

Explainable Artificial Intelligence (XAI)인용 수 8

한 줄 요약

논문은 x-[plAIn], 다양한 XAI 방법에 대한 대상별로 간결한 설명을 생성하는 GPT 기반 LLM 접근법을 제시하고, use-case 연구와 사용자 설문을 통해 검증한다.

ABSTRACT

The field of Explainable Artificial Intelligence (XAI) often focuses on users with a strong technical background, making it challenging for non-experts to understand XAI methods. This paper presents "x-[plAIn]", a new approach to make XAI more accessible to a wider audience through a custom Large Language Model (LLM), developed using ChatGPT Builder. Our goal was to design a model that can generate clear, concise summaries of various XAI methods, tailored for different audiences, including business professionals and academics. The key feature of our model is its ability to adapt explanations to match each audience group's knowledge level and interests. Our approach still offers timely insights, facilitating the decision-making process by the end users. Results from our use-case studies show that our model is effective in providing easy-to-understand, audience-specific explanations, regardless of the XAI method used. This adaptability improves the accessibility of XAI, bridging the gap between complex AI technologies and their practical applications. Our findings indicate a promising direction for LLMs in making advanced AI concepts more accessible to a diverse range of users.

연구 동기 및 목표

• 사람 중심의 XAI(HC-XAI)를 다양한 청중(비즈니스, 학계, 비전문가)에 맞게 설명을 조정하여 촉진한다.
• GPT-Builder를 사용하여 여러 XAI 방법을 평이한 언어로 요약하는 GPT 기반 XAI 설명 도구(x-[plAIn])를 개발한다.
• LIME, SHAP, Grad-CAM 등 다양한 기법을 지원함으로써 XAI 방법에 구애받지 않음을 보여준다.
• 접근성과 유용성을 평가하기 위해 사용 사례 기반 평가와 사용자 설문으로 접근법을 검증한다.

제안 방법

• GPT-Builder를 사용하여 관객 맞춤형 XAI 요약을 생성하는 맞춤형 GPT 기반 설명 도구(x-[plAIn])를 개발한다.
• 다양한 XAI 방법(LIME, SHAP, Grad-CAM, PDP)의 출력을 순환하는 자연어 설명으로 통합한다.
• 설명을 위한 Chain-of-Thought 스타일 요소를 포함한 점진적 프롬프트(P1–P6)를 활용한 프롬프트 엔지니어링 파이프라인을 구현한다.
• 다섯 가지 다양한 XAI 사용 사례를 평가 자극으로 사용한다.
• 원 논문 설명과 대조하여 x-[plAIn] 설명을 비교하고 사용자 선호도와 이해도를 평가하는 포괄적 설문 조사를 실시한다.

실험 결과

연구 질문

• RQ1 다른 방법들에 걸쳐 LLM이 대상에 맞춘 간결한 XAI 설명을 얼마나 효과적으로 생성할 수 있는가?
• RQ2 HC-XAI 설명이 최종 사용자 및 비기술 전문가의 접근성 및 의사 결정에 개선을 가져올 수 있는가?
• RQ3 청중 적응형 설명이 전통적인 방법 설명과 비교하여 이해에 미치는 영향은 무엇인가?
• RQ4 GPT 기반 설명기가 정확성을 보존하면서 기본 XAI 방법에 대해 어느 정도까지 비종속성을 유지할 수 있는가?
• RQ5 XAI 설명에서 설명 길이, 구조, 도메인 맞춤에 대한 사용자의 선호도는 무엇인가?

주요 결과

• 참가자의 70% 이상이 AI 기반 의사 결정 모델에 대한 이해도에 대해 60% 미만의 만족도를 보고해 더 나은 설명의 필요성을 강조했다.
• 의사 결정 및 이미지 이해 시나리오에서 참가자의 80% 이상이 기존 논문 설명보다 x-[plAIn] 설명을 선호했다.
• 자신의 AI 이해도 자기보고가 가장 높은 응답자의 75%가 x-[plAIn]을 선호하여 정보에 밝은 사용자들 사이에서 높은 활용성을 시사한다.
• 참가자들은 간결성과 도메인 맞춤을 개선점으로 강조하며 더 많은 개인화의 기회를 시사했다.