[논문 리뷰] XAI meets LLMs: A Survey of the Relation between Explainable AI and Large Language Models

Erik Cambria, Lorenzo Malandri외 3명|arXiv (Cornell University)|2024. 07. 21.

Natural Language Processing Techniques인용 수 11

한 줄 요약

A systematic mapping study reviewing how explainable AI (XAI) and large language models (LLMs) intersect, outlining taxonomy, trends, gaps, and future directions for jointly advancing XAI and LLM research.

ABSTRACT

In this survey, we address the key challenges in Large Language Models (LLM) research, focusing on the importance of interpretability. Driven by increasing interest from AI and business sectors, we highlight the need for transparency in LLMs. We examine the dual paths in current LLM research and eXplainable Artificial Intelligence (XAI): enhancing performance through XAI and the emerging focus on model interpretability. Our paper advocates for a balanced approach that values interpretability equally with functional advancements. Recognizing the rapid development in LLM research, our survey includes both peer-reviewed and preprint (arXiv) papers, offering a comprehensive overview of XAI's role in LLM research. We conclude by urging the research community to advance both LLM and XAI fields together.

연구 동기 및 목표

• LLMs에서의 XAI 연구를 평가하기 위한 새로운 분류 프레임워크를 제안한다.
• XAI와 LLM에 관한 동료 심사 논문과 프리프린트 연구를 포괄적으로 조사한다.
• LLMs용 XAI의 현재 실천을 비판적으로 평가하여 격차와 향후 연구 방향을 식별한다.

제안 방법

• XAI 기법이 LLM에 어떻게 통합되고 새로운 수렴이 어떻게 나타나는지에 대한 연구질문을 정의한다.
• ArXiv 및 DBLP/Scopus 소스의 동료 심사 논문과 프리프린트를 대상으로 체계적 매핑 연구(SMS)를 수행한다.
• 후보 논문을 수동으로 필터링하고 검토하여 위양성을 제거하고 인용 지표를 기준으로 가장 관련성이 높은 35건의 연구를 선택한다.
• 포함된 논문을 Application (To Explain; As Feature)와 Discussion (Issues; Benchmark and Metrics) 범주로 분류한다.
• 오픈 소스 도구와의 활용성 및 설명 방법과 작업 지향 개선 사이의 균형에 대해 논의하기 위한 결과를 합성한다.

Figure 1: The process used for getting the papers related to our keywords, including the definition of research questions, paper retrieval, paper selection, elimination of false positives and classifying papers in the pre-defined categories.

실험 결과

연구 질문

• RQ1 Q1 XAI 기법은 현재 LLM에 어떻게 통합되고 있는가?
• RQ2 Q2 LLM과 XAI 방법론의 융합에서 나타나는 새로운 경향은 무엇인가?
• RQ3 Q3 문헌에서 어떤 격차가 존재하며 어떤 영역이 추가 연구가 필요한가?

주요 결과

• 조사 대상 연구 중 LLM 기반 시스템의 설명 가능성 방법을 직접 다루는 경우는 소수에 불과하다.
• 연구의 증가하는 비율이 코드나 도구를 오픈 소스로 공개하여 투명성과 재현성을 촉진한다.
• 주목할 만한 차이가 있는데, 일부 연구는 설명/해석 가능성에 초점을 맞추고, 많은 연구는 작업 성능을 목표로 하되 해석 가능성은 부수 효과로 간주된다.
• 대부분의 논문이 좁은 AI 시스템이 아닌 LLM에 초점을 맞추고 있어 폭넓지만 고르지 못한 연구 초점을 시사한다.
• 성능 향상과 LLM 내부 작동의 불가사를 해소하고 비전문 이해관계자에게 설명의 접근성을 높이는 균형을 촉구한다.