[논문 리뷰] How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study

Tianjie Ju, Weiwei Sun외 4명|arXiv (Cornell University)|2024. 02. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 문맥 지식을 어떻게 인코딩하는지 연구하기 위해 계층별 탐색 프레임워크를 제안한다. 이는 ChatGPT가 생성한 증거와 $Σ$-사용 가능한 정보를 메트릭으로 사용한다. 연구 결과, LLMs는 상위 계층에서 더 많은 문맥 지식을 인코딩하며, 깊이가 깊어질수록 엔티티 토큰에서 더 넓은 문맥으로 지식을 전달하고, 관련이 없는 증거에 노출될 경우 간섭을 겪는다. 이는 내부 지식 유지 메커니즘에서 핵심적인 역학을 드러낸다.

ABSTRACT

Previous work has showcased the intriguing capability of large language models (LLMs) in retrieving facts and processing context knowledge. However, only limited research exists on the layer-wise capability of LLMs to encode knowledge, which challenges our understanding of their internal mechanisms. In this paper, we devote the first attempt to investigate the layer-wise capability of LLMs through probing tasks. We leverage the powerful generative capability of ChatGPT to construct probing datasets, providing diverse and coherent evidence corresponding to various facts. We employ $\mathcal V$-usable information as the validation metric to better reflect the capability in encoding context knowledge across different layers. Our experiments on conflicting and newly acquired knowledge show that LLMs: (1) prefer to encode more context knowledge in the upper layers; (2) primarily encode context knowledge within knowledge-related entity tokens at lower layers while progressively expanding more knowledge within other tokens at upper layers; and (3) gradually forget the earlier context knowledge retained within the intermediate layers when provided with irrelevant evidence. Code is publicly available at https://github.com/Jometeorie/probing_llama.

연구 동기 및 목표

• LLMs의 은닉 계층 전반에서 문맥 지식을 어떻게 인코딩하는지 연구하여 내부 메커니즘에 대한 이해 격차를 메운다.
• 다양하고 일관된 증거를 ChatGPT가 생성한 프레임워크를 활용해 신뢰할 수 있는 탐색 프레임워크를 개발한다.
• 다양한 LLM 계층이 갈등하는 지식이나 새로 습득한 지식을 얼마나 잘 인코딩하는지 측정하고 비교하기 위해 $Σ$-사용 가능한 정보를 분류 메트릭으로 사용한다.
• 점차 증가하는 관련 없는 증거 하에서 문맥 지식 유지 능력을 테스트함으로써 LLMs의 장기 기억 용량을 조사한다.
• 자기주의사(attention)와 위치 인코딩이 계층 간 지식 표현을 어떻게 형성하는지 역할을 밝혀낸다.

제안 방법

• ChatGPT를 활용해 사실과 반사적 사실에 대한 다양한 일관된 증거를 생성하여 탐색 데이터셋을 구축한다.
• 증거와 질문을 LLaMA 2 모델에 입력하고, 탐색을 위해 은닉 계층 표현을 추출한다.
• $Σ$-사용 가능한 정보를 주요 메트릭으로 사용하여 계층 표현에서 문맥 지식이 얼마나 구분 가능한지 평가한다.
• 갈등 지식(예: 매개변수적 사실 수정)과 새로 습득한 지식(예: 암호)을 평가하기 위해 탐색 작업을 설계한다.
• 증거의 관련성과 위치 인코딩을 체계적으로 변화시켜 중간 계층에서의 내성성과 간섭 효과를 테스트한다.
• 히트맵을 통해 계층별 탐색 결과를 시각화하여 토큰 유형과 계층 간 지식 인코딩 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 LLMs는 은닉 계층 전반에 걸쳐 문맥 지식 인코딩을 어떻게 분배하는가?
• RQ2 어디서나 어떻게 문맥 지식이 인코딩되는가—주로 엔티티 토큰에서인지, 더 넓은 문맥 전반에서인가?
• RQ3 관련 없는 증거가 존재할 경우 중간 계층에서 새로 습득한 지식의 유지에 어떤 영향을 미치는가?
• RQ4 자기주의사가 얼마나 깊이 있는 계층으로 이르러 엔티티 토큰에서 다른 토큰으로 지식을 전달하는가?
• RQ5 위치 인코딩이 계층 표현에서 문맥 지식 탐지 가능성에 상당한 영향을 미치는가?

주요 결과

• LLMs는 문맥 지식을 상위 계층에 더 선호적으로 인코딩하며, 갈등 지식 시나리오에서 가장 높은 $Σ$-사용 가능한 정보가 깊은 계층에서 관찰된다.
• 지식 관련 엔티티 토큰은 하위 계층에서 더 많은 문맥 지식을 인코딩하지만, 이 우월성은 상위 계층에서 약화되고 다른 토큰에 의해 앞서게 된다.
• 자기주의사 메커니즘은 계층이 깊어질수록 엔티티 토큰에서 주변 문맥 토큰으로 지식을 점진적으로 전달한다.
• 관련 없는 증거에 노출되었을 경우, LLMs는 중간 계층에서 성능 저하를 보이며, 새로 습득한 지식의 유지가 떨어지고 간섭이 발생함을 시사한다.
• 위치 인코딩(예: 줄바꿈 토큰 추가)은 탐색 결과에 미미한 영향을 미치며, 지식 인코딩 탐지에서 무시할 수 있는 노이즈로 작용함을 시사한다.
• 암호와 같은 새로 습득한 사실에 대해서도 모델의 문맥 지식 인코딩 능력은 여전히 강건하지만, 관련 없는 문맥이 증가할수록 성능 저하가 발생한다.