[논문 리뷰] Towards Uncovering How Large Language Model Works: An Explainability Perspective

Haiyan Zhao, Fan Yang외 3명|arXiv (Cornell University)|2024. 02. 16.

Natural Language Processing Techniques인용 수 8

한 줄 요약

본 논문은 LLM의 전체적 해석 가능성을 조사하며, 기계적 해석 가능성 (bottom-up)과 표현 엔지니어링 (top-down)을 결합하여 윤리적이고, 정직하며, 신뢰할 수 있는 정렬을 지원한다.

ABSTRACT

Large language models (LLMs) have led to breakthroughs in language tasks, yet the internal mechanisms that enable their remarkable generalization and reasoning abilities remain opaque. This lack of transparency presents challenges such as hallucinations, toxicity, and misalignment with human values, hindering the safe and beneficial deployment of LLMs. This paper aims to uncover the mechanisms underlying LLM functionality through the lens of explainability. First, we review how knowledge is architecturally composed within LLMs and encoded in their internal parameters via mechanistic interpretability techniques. Then, we summarize how knowledge is embedded in LLM representations by leveraging probing techniques and representation engineering. Additionally, we investigate the training dynamics through a mechanistic perspective to explain phenomena such as grokking and memorization. Lastly, we explore how the insights gained from these explanations can enhance LLM performance through model editing, improve efficiency through pruning, and better align with human values.

연구 동기 및 목표

• LLM을 이해하기 위한 두 가지 보완적 관점으로서의 기계적 해석 가능성과 표현 엔지니어링에 대한 체계적인 개요를 제공한다.
• 이러한 접근 방식이 LLM을 인간 가치와의 윤리적이고 정직하며 신뢰할 수 있는 정렬에 어떻게 기여할 수 있는지 논의한다.
• 이 기술들을 더 나은 모델 거버넌스를 위해 사용할 때의 한계, 응용 및 남아 있는 도전을 강조한다.

제안 방법

• LLM의 회로와 훈련 역학에 대한 사후 검토적이고 전역적이며 모델-특정(화이트박스) 분석으로 기계적 해석 가능성을 설명한다.
• 숨겨진 표현과 임베딩을 분석하기 위한 프로빙 기반 접근으로 표현 엔지니어링을 설명하며, 비지도 및 지도 기법을 포함한다.
• 두 패러다임의 응용을 편향, 독성, 부정직한 행동을 탐지하고 정렬 개입을 안내하는 데 요약한다.
• 이론 검증, 높은 차원성, 회로 평가를 포함한 한계와 향후 도전을 논의한다.

Figure 1: Two views on holistic interpretability: (i) Bottom-up view of mechanistic interpretability and (ii) Top-down view of representation engineering.

실험 결과

연구 질문

• RQ1 LLM용 기계적 해석 가능성과 표현 엔지니어링의 주요 기술과 개념은 무엇인가?
• RQ2 이러한 접근 방식이 인간 가치에 맞춘 LLM 정렬 및 편향, 부정직, 환각과 같은 해를 줄이는 데 어떻게 기여할 수 있는가?
• RQ3 실제 LLM에 이러한 방법을 적용하는 데 어떤 한계와 남아 있는 도전과제가 있는가?
• RQ4 이 두 가지 관점이 어떻게 서로 보완하여 전체적 해석 가능성을 향상시키는가?
• RQ5 이러한 방법을 사용한 LLM 정렬에 대해 어떤 실용적 응용이 입증되었는가?

주요 결과

• 기계적 해석 가능성은 회로, 신경원, 훈련 역학에 초점을 맞춰 모델 동작을 설명하는 글로벌한 사후적 화이트박스 관점을 제공합니다.
• 표현 엔지니어링은 프로빙 방법을 통해 임베딩 공간과 인과적 표현에 대한 거시적 통찰력을 제공합니다.
• 응용에는 편향되거나 부정직한 주의 헤드를 위치추정하고 안전 행동에 영향을 미치는 미세 조정 중에 학습된 래퍼를 식별하는 것이 포함됩니다.
• 두 접근법 모두 편향 탐지 및 정렬 개선 단계를 알리는 예비 유용성을 보였지만 모든 편향의 근본 원인을 완전히 밝히지는 못합니다.
• 본 논문은 이론 검증, 차원성의 저주, 회로 수준 설명의 평가를 포함한 여러 연구 과제를 제시합니다.