[논문 리뷰] Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers?

Mingyu Jin, Qinkai Yu외 11명|arXiv (Cornell University)|2024. 04. 10.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 다양한 네트워크 계층을 통해 지식을 어떻게 습득하는지 분석하기 위한 새로운 지표인 '개념 깊이(Concept Depth)'를 소개한다. Gemma, LLaMA, QWen 모델에서 사실적, 정서적, 추론적 작업을 대상으로 계층별 표현을 탐색한 결과, 간단한 개념은 浅층에서 나타나고, 복잡한 개념은 깊은 계층에서 나타나는 것으로 밝혀졌다. 강건성 분석 결과, 노이즈와 양자화가 개념 학습을 더 깊은 계층으로 연기하는 것으로 나타났다.

ABSTRACT

Large language models (LLMs) have shown remarkable performances across a wide range of tasks. However, the mechanisms by which these models encode tasks of varying complexities remain poorly understood. In this paper, we explore the hypothesis that LLMs process concepts of varying complexities in different layers, introducing the idea of "Concept Depth" to suggest that more complex concepts are typically acquired in deeper layers. Specifically, we categorize concepts based on their level of abstraction, defining them in the order of increasing complexity within factual, emotional, and inferential tasks. We conduct extensive probing experiments using layer-wise representations across various LLM families (Gemma, LLaMA, Qwen) on various datasets spanning the three domains of tasks. Our findings reveal that models could efficiently conduct probing for simpler tasks in shallow layers, and more complex tasks typically necessitate deeper layers for accurate understanding. Additionally, we examine how external factors, such as adding noise to the input and quantizing the model weights, might affect layer-wise representations. Our findings suggest that these factors can impede the development of a conceptual understanding of LLMs until deeper layers are explored. We hope that our proposed concept and experimental insights will enhance the understanding of the mechanisms underlying LLMs. Our codes are available at https://github.com/Luckfort/CD.

연구 동기 및 목표

• LLM이 네트워크 계층을 통해 다양한 복잡도의 개념을 어떻게 인코딩하는지 이해하기 위해.
• 더 단순하거나 더 추상적인 개념이 모델의 깊이에서 조기에 또는 늦게 처리되는지 조사하기 위해.
• 입력 노이즈와 가중치 양자화가 개념 학습 진행에 미치는 영향을 평가하기 위해.
• 다양한 개념 유형이 습득되는 계층을 정량화하는 데 사용할 수 있는 새로운 지표인 '개념 깊이(Concept Depth)'를 개발하기 위해.
• 다양한 모델 패밀리와 작업 유형에서 LLM의 표현 계층의 특성에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 사실적, 정서적, 추론적 작업에서 성능을 평가하기 위해 선형 분류기를 사용해 계층별 은닉 표현을 탐색한다.
• 추상화 수준에 따라 개념을 분류: 사실적(낮음), 정서적(중간), 추론적(높음) 복잡도.
• 각 계층에서 가능한 최고 성능을 도출하기 위해 독립적인 선형 탐지기(Probe)를 훈련한다.
• 강건성 평가를 위해 입력 수준의 노이즈(임의의 문자열)와 가중치 양자화를 적용한다.
• 일관성과 일반화를 확보하기 위해 9개의 다양한 데이터셋에서 다수의 LLM 패밀리(Gemma, LLaMA, QWen)를 평가한다.
• 개념이 처음으로 신뢰성 있게 탐지되는 계층을 측정하는 지표로 '개념 깊이(Concept Depth)'를 제안한다.

실험 결과

연구 질문

• RQ1 LLM은 증가하는 복잡도의 개념을 점점 더 깊은 계층에서 처리하는가?
• RQ2 사실적, 정서적, 추론적 개념은 LLM 표현에서 어느 계층에서 감지 가능한가?
• RQ3 입력 노이즈는 LLM에서 개념이 습득되는 계층에 어떤 영향을 미치는가?
• RQ4 모델 가중치의 양자화는 LLM의 개념 이해 깊이에 어떤 영향을 미치는가?
• RQ5 '개념 깊이(Concept Depth)'는 다양한 LLM 아키텍처와 작업 유형 간에도 일반화 가능한가?

주요 결과

• 사실 지식과 같은 더 단순한 개념은 평가된 모든 LLM 패밀리에서 신뢰성 있게 얕은 계층(예: 계층 1–5)에서 탐지 가능하다.
• 정서적 분위기나 논리적 추론과 같은 더 복잡한 개념은 정확한 탐지에 더 깊은 계층(예: 계층 15–30)이 필요하다.
• 입력 노이즈는 개념 표현의 등장 시점을 연기시켜 네트워크의 더 깊은 계층으로 탐지 가능한 계층을 이동시킨다.
• 가중치 양자화 역시 신뢰성 있는 개념 탐지의 시작 시점을 더 깊은 계층으로 이동시키며, 이는 초기 계층의 표현력 감소를 시사한다.
• '개념 깊이(Concept Depth)' 지표는 다양한 데이터셋과 모델 패밀리에서 일관된 경향을 보이며, 일반화 가능성의 타당성을 확인한다.
• 본 연구는 LLM에서의 개념 이해가 계층적임을 확인하였으며, 점점 더 추상적인 개념은 더 깊은 네트워크 계층을 필요로 한다.