[논문 리뷰] From Understanding to Utilization: A Survey on Explainability for Large Language Models

Haoyan Luo, Lucia Specia|arXiv (Cornell University)|2024. 01. 23.

Topic Modeling인용 수 14

한 줄 요약

이 설문은 사전 학습된 Transformer 기반 LLM의 설명가능성 방법을 검토하고, 로컬/글로벌 분석을 분류하며 설명이 신뢰성, 편집, 정렬에 어떻게 도움을 줄 수 있는지 개략합니다. 또한 평가 방법과 향후 방향에 대해 논의합니다.

ABSTRACT

Explainability for Large Language Models (LLMs) is a critical yet challenging aspect of natural language processing. As LLMs are increasingly integral to diverse applications, their "black-box" nature sparks significant concerns regarding transparency and ethical use. This survey underscores the imperative for increased explainability in LLMs, delving into both the research on explainability and the various methodologies and tasks that utilize an understanding of these models. Our focus is primarily on pre-trained Transformer-based LLMs, such as LLaMA family, which pose distinctive interpretability challenges due to their scale and complexity. In terms of existing methods, we classify them into local and global analyses, based on their explanatory objectives. When considering the utilization of explainability, we explore several compelling methods that concentrate on model editing, control generation, and model enhancement. Additionally, we examine representative evaluation metrics and datasets, elucidating their advantages and limitations. Our goal is to reconcile theoretical and empirical understanding with practical implementation, proposing exciting avenues for explanatory techniques and their applications in the LLMs era.

연구 동기 및 목표

• 투명성, 신뢰 및 윤리적 문제로 인해 대형 언어 모델에서 설명가능성의 필요성을 촉구합니다.
• 로컬 및 글로벌 분석으로 LLMs 범주화합니다.
• 모델 편집, 능력 향상, 제어된 생성에서 설명가능성의 응용을 논의합니다.
• 설명 품질과 유용성 평가 지표 및 데이터 세트를 강조합니다.
• LLM 설명가능성의 이론과 실무를 잇는 열린 질문과 향후 방향을 식별합니다.

제안 방법

• 설명가능성 방법을 Local Analysis(특징 기여도, transformer 구성요소 분석)와 Global Analysis(프루빙, 기계적 해석가능성)으로 분류한다.
• 지역적 방법 자세히: 섭동/기울기/벡터 기반 기여도, 통합 기여도, 어텐션 기반 분석, FFN/분해 기법.
• 글로벌 방법 자세히: 지식/표현에 대한 프루빙, 회로 발견, 인과 추적, 어휘 렌즈를 포함한 기계적 해석 가능성.
• 설명이 모델 편집, 장문 텍스트 활용, 문맥 내 학습(ICL) 개선에 어떻게 활용될 수 있는지 검토.
• 설명에 대한 타당성 및 진실성 평가 전략 개요, ZsRE 및 CounterFact와 TruthfulQA 지표를 포함.

실험 결과

연구 질문

• RQ1 사전 학습된 Transformer 기반 LLM에 적용 가능한 설명가능성 방법은 무엇이며 범위와 세분성에서 어떻게 다른가?
• RQ2 로컬 및 글로벌 설명을 활용해 모델의 투명성, 신뢰성, 다운스트림 작업 성능을 어떻게 개선할 수 있는가?
• RQ3 설명의 품질과 유용성을 효과적으로 평가하는 전략과 데이터 세트는 무엇인가?
• RQ4 LLM에서 설명가능성이 모델 편집, 장문 활용, 제어 가능한 생성에 어떻게 가이드가 될 수 있는가?
• RQ5 LLM 설명가능성의 향후 연구에서 남은 도전 과제와 방향은 무엇인가?

주요 결과

• 로컬 분석 방법에는 토큰 단위 예측 해석을 위한 특징 기여도, 기울기 기반, 벡터 기반 접근법이 포함된다.
• 글로벌 분석에는 프루빙 기반 기법과 회로 발견, 인과 추적 같은 기계적 해석 가능성 접근법이 포함된다.
• 설명가능성은 locate-then-edit와 같은 모델 편집에 정보를 제공하고, 장문 활용 및 컨텍스트 학습(ICL) 같은 작업을 개선할 수 있다.
• 설명의 평가는 타당성, 진실성, 유용성에 의존하며 ZsRE, CounterFact, TruthfulQA 같은 데이터 세트를 활용한다.
• 이 설문은 현재 방법의 한계를 식별하고 신뢰할 수 있고 정렬된 LLM으로의 향후 연구 방향을 제시한다.