[논문 리뷰] Rethinking Interpretability in the Era of Large Language Models

Chandan Singh, Jeevana Priya Inala외 3명|arXiv (Cornell University)|2024. 01. 30.

Natural Language Processing Techniques인용 수 41

한 줄 요약

이 논문은 LLM이 자연어 설명과 대화형 분석을 가능하게 하여 해석 가능성을 재정의할 수 있다고 주장하며, LLM 기반 해석 및 데이터셋 설명의 기회, 도전 과제, 연구 우선순위를 제시한다.

ABSTRACT

Interpretable machine learning has exploded as an area of interest over the last decade, sparked by the rise of increasingly large datasets and deep neural networks. Simultaneously, large language models (LLMs) have demonstrated remarkable capabilities across a wide array of tasks, offering a chance to rethink opportunities in interpretable machine learning. Notably, the capability to explain in natural language allows LLMs to expand the scale and complexity of patterns that can be given to a human. However, these new capabilities raise new challenges, such as hallucinated explanations and immense computational costs. In this position paper, we start by reviewing existing methods to evaluate the emerging field of LLM interpretation (both interpreting LLMs and using LLMs for explanation). We contend that, despite their limitations, LLMs hold the opportunity to redefine interpretability with a more ambitious scope across many applications, including in auditing LLMs themselves. We highlight two emerging research priorities for LLM interpretation: using LLMs to directly analyze new datasets and to generate interactive explanations.

연구 동기 및 목표

• 대형 언어 모델(LLMs)과 그 설명 능력의 맥락에서 해석 가능성을 재고한다.
• 전통적인 사후 분석(post-hoc) 방법을 넘어 LLM이 모델 동작과 데이터 모두를 어떻게 설명할 수 있는지 평가한다.
• 대화형의 자연어 설명 및 데이터 기반 추론의 기회를 식별한다.
• 환각, 계산 비용, LLM에 대한 접근성 제한과 같은 도전 과제를 강조한다.
• 새로운 데이터셋 분석에 LLM을 활용하고 대화형 설명을 생성하는 등 두 가지 새로운 우선순위를 옹호한다.

제안 방법

• 기존 LLM 해석 접근법을 조사하고 분류합니다(로컬 대 글로벌/기계적 설명).
• 사후 NL 설명, 사고의 사슬(chain-of-thought prompting), 검색 증강 생성(RAG) 등을 포함한 LLM 출력 설명 방법을 평가합니다.
• 프로빙(probing), 뉴런/회로 분석, 학습 데이터 영향 분석 등을 포함한 기계적(mechanistic) 및 데이터셋 설명 기법을 논의합니다.
• 설명에 대한 평가 고려사항을 제시하고, 인간 연구와 자동 지표 및 편향 고려의 균형을 맞춥니다.
• 실용적 관심의 이중 축을 개요합니다: LLM 감사와 데이터셋 설명에 LLM을 활용하는 것.

실험 결과

연구 질문

• RQ1 LLMs를 어떻게 활용하여 모델 예측과 데이터 패턴을 효과적이고 신뢰성 있게 설명할 수 있을까요?
• RQ2 전통적인 설명 방법을 넘어 대화형 및 데이터셋 기반 설명을 위해 LLM이 어떤 기회를 제공합니까?
• RQ3 현실적이고 강건한 LLM 기반 해석을 실현하기 위해 해결해야 할 도전 과제(예: 환각, 비용, 접근성)는 무엇입니까?
• RQ4 현실 세계 환경에서 LLM 설명에 대한 효과적인 평가 전략은 무엇입니까?
• RQ5 데이터셋과 모델 동작을 설명하기 위해 LLM을 활용하는 데 있어 우선 연구 방향은 무엇입니까?

주요 결과

• LLMs은 복잡한 패턴과 데이터 관계를 다룰 수 있는 자연어, 대화형 설명을 가능하게 한다.
• 로컬 설명은 토큰 기여도, 주의(attention) 분석, 사후 NL 설명 등을 활용할 수 있으며, 사고의 사슬(chain-of-thought prompting)과 같은 기법으로 정확도를 향상시킨다.
• 글로벌/기계적 설명은 표현을 탐색하고, 주의 헤드(attention heads)를 분석하며, 학습 데이터 영향 연구를 수행할 수 있지만 대형 모델로의 확장은 도전적이다.
• LLM을 활용한 데이터셋 설명은 표형 및 텍스트 데이터를 분석하는 데 도움을 주며, GAMs, 분류기 예측, 데이터 패턴 이해를 위한 프롬프트 기반 체인 등을 포함한다.
• 설명 평가에는 실제 세계 결과와 인간 수행과의 보완성을 고려해야 하며, 사용자 판단이나 자가 보고된 유용성에의 의존을 피해야 한다.
• 향후 우선순위에는 설명의 신뢰성 향상, 인터랙티브한 설명의 발전, 그리고 데이터셋으로부터의 지식 발견을 위한 LLM 활용이 포함된다.