[논문 리뷰] Attention Heads of Large Language Models: A Survey

Zifan Zheng, Yezhaohui Wang외 6명|arXiv (Cornell University)|2024. 09. 05.

Topic Modeling인용 수 4

한 줄 요약

이 종합 검토는 대규모 언어 모델(Large Language Models, LLMs)의 어텐션 헤드 기능을 체계적으로 분류하기 위해 지식 회상, 인-컨텍스트 식별, 잠재적 추론, 표현 준비의 네 단계로 구성된 인지 프레임워크를 제안한다. 이 프레임워크는 어텐션 헤드의 역할에 따라 분류하고, 모델링이 필요 없는 방법과 모델링이 필요한 방법을 검토하며, 평가 벤치마크를 제시함으로써 기계적 해석 가능성의 체계적인 기반을 제공한다. 이는 LLM의 강건성 향상과 인간 인지와의 일치성 향상에 기여한다.

ABSTRACT

Since the advent of ChatGPT, Large Language Models (LLMs) have excelled in various tasks but remain as black-box systems. Understanding the reasoning bottlenecks of LLMs has become a critical challenge, as these limitations are deeply tied to their internal architecture. Among these, attention heads have emerged as a focal point for investigating the underlying mechanics of LLMs. In this survey, we aim to demystify the internal reasoning processes of LLMs by systematically exploring the roles and mechanisms of attention heads. We first introduce a novel four-stage framework inspired by the human thought process: Knowledge Recalling, In-Context Identification, Latent Reasoning, and Expression Preparation. Using this framework, we comprehensively review existing research to identify and categorize the functions of specific attention heads. Additionally, we analyze the experimental methodologies used to discover these special heads, dividing them into two categories: Modeling-Free and Modeling-Required methods. We further summarize relevant evaluation methods and benchmarks. Finally, we discuss the limitations of current research and propose several potential future directions.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)의 투명성 부족 문제를 해결하기 위해 어텐션 헤드의 기능적 역할을 조사한다.
• 인간의 사고 과정을 모델로 삼아 지식 회상, 인-컨텍스트 식별, 잠재적 추론, 표현 준비의 네 단계로 구성된 인지 프레임워크를 개발하여 LLM 내 어텐션 헤드의 기능을 분류한다.
• 특화된 어텐션 헤드를 발견하기 위한 기존 실험적 방법론을 모델링이 필요 없는 방법과 모델링이 필요한 방법으로 체계화하고 분류한다.
• 기존의 해석 가능성 연구에서의 한계점—일반화 가능성 부족과 이론적 기반 미흡—을 요약하고 평가 벤치마크를 정리한다.
• 향후 연구 방향으로 강건성 분석, 종합적 해석 가능성 프레임워크 개발, 기계 심리학과의 통합을 제안한다.

제안 방법

• 저자들은 인지신경과학과 심리학을 기반으로 지식 회상, 인-컨텍스트 식별, 잠재적 추론, 표현 준비의 네 단계로 구성된 인지 프레임워크를 제안하여 LLM의 추론 과정을 인간과 유사한 사고 과정으로 매핑한다.
• 각 단계 내에서 어텐션 헤드의 기능적 역할에 따라 분류하고, 헤드 간의 공통점과 협업적 동역학을 규명한다.
• 발견 방법을 두 가지 유형으로 분류한다: 모델링이 필요 없는 방법(예: 활성도 패치, 아블레이션)과 모델링이 필요한 방법(예: 서킷 트레이닝, 인과적 스트레일링).
• 헤드 기능을 검증하기 위해 사용되는 기존 평가 과제와 벤치마크(예: IOI 과제, 색상 객체 과제)를 검토한다.
• 기계적 해석 가능성과 기계 심리학의 통찰을 융합하여 LLM 내부 구조를 인간 중심적이고 행동 기반의 관점에서 이해를 심화시킨다.
• 최근의 LLM들인 LLaMA와 GPT에 프레임워크를 적용하여 오래된 모델(예: BERT)이 아닌 최신 연구 기반의 상태를 반영한다.

실험 결과

연구 질문

• RQ1 어떻게 인간과 유사한 추론 과정의 단계별 기능적 역할에 기반해 LLM 내 어텐션 헤드를 체계적으로 분류할 수 있는가?
• RQ2 모델링이 필요 없는 방법과 모델링이 필요한 방법 간의 주요 차이점과 상충 요소는 무엇인가?
• RQ3 발견된 어텐션 헤드 메커니즘은 다양한 후행 작업에 얼마나 일반화되는가?
• RQ4 다양한 추론 단계를 거쳐 협업하는 여러 어텐션 헤드의 상호작용 동역학은 어떻게 모델링하고 이해할 수 있는가?
• RQ5 기계 심리학과 행동 분석은 LLM 메커니즘의 해석과 향상에 어떤 역할을 할 수 있는가?

주요 결과

• 네 단계의 인지 프레임워크는 어텐션 헤드의 기능을 지식 회상, 컨텍스트 식별, 잠재적 추론, 표현 준비의 각 단계에 정확히 매핑하여, 다양한 단계에서 헤드를 체계적으로 분류하는 데 성공했다.
• 활성도 패치, 아블레이션 등 모델링이 필요 없는 방법은 헤드 발견에 널리 사용되지만, 인과적 스트레일링 같은 모델링이 필요한 방법은 더 깊은 기계적 통찰을 제공하지만 더 복잡한 설정이 필요하다.
• IOI 과제나 색상 객체 과제에서 발견된 많은 서킷은 더 넓은 과업 분포에 대해 검증되지 않아 일반화 가능성에 한계가 있음을 시사한다.
• 현재 연구는 주로 고립된 헤드 기능에 집중되어 있으며, 여러 헤드 간의 협업 메커니즘에 대한 탐색은 극히 미미하여 핵심 연구 격차로 남아 있다.
• 대부분의 제안된 메커니즘에 수학적 증명이 없어 우연적 또는 비강건한 결과일 수 있다는 우려가 제기되며, 더 강력한 이론적 검증의 필요성을 강조한다.
• 향후 연구는 강건성 분석, 종합적 해석 가능성 프레임워크 개발, 기계 심리학과의 통합을 우선순위로 삼아 LLM과 인간 인지 간 격차를 좁혀야 한다.