[논문 리뷰] The representation landscape of few-shot learning and fine-tuning in large language models

Diego Doimo, Alessandro Serra외 2명|arXiv (Cornell University)|2024. 09. 05.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 내부 표현을 밀도 기반 기하 분석을 통해 인컨텍스트 러닝(In-Context Learning, ICL)과 지도형 미세조정(Supervised Fine-Tuning, SFT)이 어떻게 형성하는지 조사한다. ICL은 초기 레이어에서 의미적으로 조직화되고 계층적인 표현을 생성하는 반면, SFT는 후속 레이어에서 답변 정체성에 대한 클러스터링을 강화한다—이는 성능 결과가 유사하더라도 근본적으로 다른 계산 전략을 사용하고 있음을 시사한다.

ABSTRACT

In-context learning (ICL) and supervised fine-tuning (SFT) are two common strategies for improving the performance of modern large language models (LLMs) on specific tasks. Despite their different natures, these strategies often lead to comparable performance gains. However, little is known about whether they induce similar representations inside LLMs. We approach this problem by analyzing the probability landscape of their hidden representations in the two cases. More specifically, we compare how LLMs solve the same question-answering task, finding that ICL and SFT create very different internal structures, in both cases undergoing a sharp transition in the middle of the network. In the first half of the network, ICL shapes interpretable representations hierarchically organized according to their semantic content. In contrast, the probability landscape obtained with SFT is fuzzier and semantically mixed. In the second half of the model, the fine-tuned representations develop probability modes that better encode the identity of answers, while the landscape of ICL representations is characterized by less defined peaks. Our approach reveals the diverse computational strategies developed inside LLMs to solve the same task across different conditions, allowing us to make a step towards designing optimal methods to extract information from language models.

연구 동기 및 목표

• 인컨텍스트 러닝(ICL)과 지도형 미세조정(SFT)이 대규모 언어 모델(LLMs)의 내부 표현 공간을 어떻게 형성하는지 이해하는 것.
• 동일한 질문-답변 작업에 대해 ICL과 SFT 하에서의 은닉 표현 기하학적 구조를 비교하는 것.
• ICL과 SFT가 유사한 성능를 보일지라도, 이들이 유사한지 또는 상이한 내부 계산 전략을 유도하는지 조사하는 것.
• 특히 네트워크 중간 부근의 임계 전이 지점 근처에서 표현 기하학의 변화를 분석하는 것.
• 내재 차원성과 확률 모드 구조가 의미적 내용과 답변 정체성과 어떻게 관련되어 있는지 규명하는 것.

제안 방법

• 은닉 레이어 표현의 데이터 다양체 상에서 직접 확률 모드를 식별하기 위해 차원 축소를 명시적으로 수행하지 않는 밀도 기반 접근법을 사용한다.
• 모든 레이어에 걸쳐 은닉 표현의 내재 차원성(Intrinsic Dimension, ID)을 계산하여 표현 지형의 구조적 전이를 탐지한다.
• 표현에 다중 모드 구조가 어떻게 나타나는지 추적하며, 주로 주제별 클러스터링(주제 기반)과 답변 정체성 클러스터링(문자 기반)을 중점으로 한다.
• 볼록 클러스터 형상이나 사전에 클러스터 수를 정의하지 않는 비모수적 방법을 사용하여 밀도 피크를 식별한다.
• MMLU 벤치마크를 사용한 다중 선택 질문-답변 작업에 대해, 제로샷, 소수의 예제(예: ICL), 그리고 미세조정된 설정을 비교한다.
• 유사한 주제 분할을 보이는 두 번째 데이터 세트 혼합물에서도 분석을 적용하여 데이터 분포에 대한 강건성을 입증한다.

(a) Consistency between the peak composition and the MMLU subjects. A schematic view of the density peaks in the early . The coloring reflects the presence of the subjects.

실험 결과

연구 질문

• RQ1 인컨텍스트 러닝과 지도형 미세조정은 대규모 언어 모델에서 동일한 내부 표현을 생성하는가?
• RQ2 ICL과 SFT 하에서 은닉 표현의 기하학적 구조는 레이어 전반에 걸쳐 어떻게 변화하는가?
• RQ3 내재 차원성이 네트워크 내 기능적 전이를 식별하는 데 어떤 역할을 하는가?
• RQ4 ICL에서 초기 레이어는 계층적이고 의미적으로 유의미한 표현 클러스터링을 보이는가?
• RQ5 SFT에서 후속 레이어는 표현 지형에서 더 뚜렷하고 답변 정체성에 특화된 클러스터링을 보이는가?

주요 결과

• ICL과 SFT 모두 네트워크 중간 부근에서 표현 기하학의 급격한 전이가 발생하며, 이는 내재 차원성의 피크로 나타난다.
• 초기 레이어에서 ICL은 주제 기반으로 클러스터링되는 의미적으로 조직화되고 계층적인 표현을 생성하며, 밀도 피크는 MMLU 주제의 기반이 되는 내용을 반영한다.
• 반면, SFT는 초기 레이어에서 더 흐릿하고 의미적으로 혼합된 표현 지형을 생성하며, 명확한 주제 기반 클러스터링이 없다.
• 후속 레이어에서 SFT는 답변 정체성(A, B, C, D)과 강하게 상관되는 잘 정의된 확률 모드를 형성하며, 답변 특정 인코딩이 향상됨을 시사한다.
• ICL의 후속 레이어 표현은 피크가 덜 뚜렷하여 SFT에 비해 정체성 인코딩이 약한 것으로 나타난다.
• 분석 결과, SFT는 초기 레이어보다 후속 레이어를 더 크게 수정함을 확인하였으며, 이는 후속 레이어에 우선순위를 두는 적응형 저랭크 미세조정 전략을 뒷받침한다.

(b) Consistency between the peak composition and the MMLU answers. A schematic view of the density peaks in the late layers. The coloring reflects the presence of answers with the same letter: A (blue), B (okra), C (pink), and D (light blue).