[논문 리뷰] Usable XAI: 10 Strategies Towards Exploiting Explainability in the LLM Era

Xuansheng Wu, Haiyan Zhao외 10명|arXiv (Cornell University)|2024. 03. 13.

Scientific Computing and Data Management인용 수 18

한 줄 요약

이 논문은 LLM용 사용 가능한 XAI를 정의하고, 설명을 활용해 LLM을 개선하고 LLM이 XAI를 강화하도록 하는 10가지 전략을 제안하며, 사례 연구와 오픈 소스 코드를 통해 뒷받침한다.

ABSTRACT

Explainable AI (XAI) refers to techniques that provide human-understandable insights into the workings of AI models. Recently, the focus of XAI is being extended toward explaining Large Language Models (LLMs). This extension calls for a significant transformation in the XAI methodologies for two reasons. First, many existing XAI methods cannot be directly applied to LLMs due to their complexity and advanced capabilities. Second, as LLMs are increasingly deployed in diverse applications, the role of XAI shifts from merely opening the ``black box'' to actively enhancing the productivity and applicability of LLMs in real-world settings. Meanwhile, the conversation and generation abilities of LLMs can reciprocally enhance XAI. Therefore, in this paper, we introduce Usable XAI in the context of LLMs by analyzing (1) how XAI can explain and improve LLM-based AI systems and (2) how XAI techniques can be improved by using LLMs. We introduce 10 strategies, introducing the key techniques for each and discussing their associated challenges. We also provide case studies to demonstrate how to obtain and leverage explanations. The code used in this paper can be found at: https://github.com/JacksonWuxs/UsableXAI_LLM.

연구 동기 및 목표

• LLM 맥락에서 사용 가능한 XAI를 정의하고 두 방향을 구분합니다: 설명을 활용해 LLM/AI 시스템을 개선하는 방향과 LLM을 활용해 XAI 프레임워크를 개선하는 방향.
• Usable XAI for LLMs와 LLM for Usable XAI의 두 카테고리로 구성된 10가지 전략을 제안합니다.
• 주요 기법을 보여주는 사례 연구를 제공하고 개방 도전과제와 향후 방향을 논의합니다.
• LLM 맥락에서 설명 적용을 촉진하기 위한 오픈 소스 코드를 공개합니다.
• LLM과 함께하는 XAI를 위한 속성/귀속 분석, 구성요소 해석, 프롬프트 엔지니어링, 지식 보강, 데이터 보강, 사용자 친화적 설명, 시스템 설계를 탐색하고 종합합니다.

제안 방법

• 속성(귀속) 방법을 검토하고 LLM 및 생성 작업에 대한 적합성을 평가합니다.
• 해석 가능성을 위한 LLM 내부 구조(자체 어텐션 및 피드포워드 모듈)를 분석합니다.
• 샘플 기반 설명과 EK-FAC 스타일 영향 추정치를 개발하여 디버깅에 활용합니다.
• 신뢰성(보안, 프라이버시, 공정성, 독성, 진실성) 및 인간 정렬성과 관련된 설명 가능성을 검토합니다.
• 사고 흐름 체인(chain-of-thought) 및 확장 등을 포함한 설명 가능한 프롬핑과 지식 보강 프롬핑을 탐구합니다.
• 설명에 따른 데이터 증강 및 설명 기반 데이터 보강을 논의합니다.
• LLM으로 사용자 친화적 설명을 설계하고 LLM 에이전트로 해석 가능한 AI 워크플로를 자동화합니다.
• XAI 훈련 및 평가에서 인간 주석자와 피드백을 모방하기 위한 LLM 활용을 고려합니다.
• 실용적 사용 편의를 보여주기 위한 사례 연구와 오픈 소스 코드를 제공합니다.

Figure 1: The contributions and outline of this paper. We define Usable XAI in the context of LLMs with seven strategies of enhancing LLMs with XAI, and three strategies of enhancing XAI with LLMs.

실험 결과

연구 질문

• RQ1 XAI 설명을 사용하여 LLM 및 광범위한 AI 시스템을 진단하고 디버그하며 개선하는 방법은 무엇입니까?
• RQ2 LLMs가 XAI 프레임워크를 발전시키고 실무자용 설명의 활용성을 높이는 데 어떻게 기여할 수 있습니까?
• RQ3 LLM 맥락에서 효과적인 실용적 기법은 무엇입니까? (귀속, 구성요소 해석, 샘플 기반 설명, 프롬프트, 지식 보강)
• RQ4 LLM 시대에 XAI를 usable하게 만드는 주요 도전과제와 향후 방향은 무엇입니까?

주요 결과

• 귀속 기반 설명은 LLM 응답 품질 평가 및 망상 탐지에 사용될 수 있으며, 특정 설정에서 기저값 대비 경쟁력 있는 성능을 보인다는 실증 결과가 있습니다.
• LLM 구성요소(자체 어텐션 및 피드포워드 모듈) 해석은 모델 설계 및 프롬프트 전략에 대한 통찰력을 제공합니다.
• 설명 가능한 프롬프트(사고 흐름 체인 및 지식 보강 프롬프트)는 추론 및 의사결정 제어에 영향을 줄 수 있으며 사례 연구에서 관찰된 바 있습니다.
• 설명을 바탕으로 한 데이터 증강 및 훈련 데이터 보강은 편향된 우회 경로를 완화하고 모델을 인간 선호에 맞추는 데 도움이 될 수 있습니다.
• LLM은 사용자 친화적 설명 생성, 해석 가능한 AI 워크플로 자동화, 인간 유사 인지 에뮬레이션을 통한 평가 가능성을 제공하여 XAI 사용성을 향상시킬 수 있습니다.
• 이 연구는 재현 및 추가 개발을 가능하게 하는 오픈 소스 코드를 제공합니다.

Figure 3: A general pipeline of model diagnosis with attribution explanations.