[논문 리뷰] Physics of Language Models: Part 3.1, Knowledge Storage and Extraction

Zeyuan Allen Zhu, Yuanzhi Li|arXiv (Cornell University)|2023. 09. 25.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델이 사실 지식을 어떻게 저장하고 추출하는지 조사하며, 사전 훈련 중 데이터 증강이 지식 추출에 결정적으로 영향을 미친다는 것을 입증한다. 통제된 합성 생애사 데이터셋을 사용하여, 훈련 데이터에 충분한 다의어화 및 구조적 다양성이 없을 경우, 모델은 사실을 암기하지만 그에 대한 질문에 답할 수 없게 되며, 이후 피니테이닝을 거쳐도 마찬가지로 비선형적이고 추출 불가능한 방식으로 은닉 상태에 인코딩되기 때문이다.

ABSTRACT

Large language models (LLMs) can store a vast amount of world knowledge, often extractable via question-answering (e.g., "What is Abraham Lincoln's birthday?"). However, do they answer such questions based on exposure to similar questions during training (i.e., cheating), or by genuinely learning to extract knowledge from sources like Wikipedia? In this paper, we investigate this issue using a controlled biography dataset. We find a strong correlation between the model's ability to extract knowledge and various diversity measures of the training data. $ extbf{Essentially}$, for knowledge to be reliably extracted, it must be sufficiently augmented (e.g., through paraphrasing, sentence shuffling, translations) $ extit{during pretraining}$. Without such augmentation, knowledge may be memorized but not extractable, leading to 0% accuracy, regardless of subsequent instruction fine-tuning. To understand why this occurs, we employ (nearly) linear probing to demonstrate a strong connection between the observed correlation and how the model internally encodes knowledge -- whether it is linearly encoded in the hidden embeddings of entity names or distributed across other token embeddings in the training text. This paper provides $ extbf{several key recommendations for LLM pretraining in the industry}$: (1) rewrite the pretraining data -- using small, auxiliary models -- to provide knowledge augmentation, and (2) incorporate more instruction-finetuning data into the pretraining stage before it becomes too late.

연구 동기 및 목표

• 언어 모델가 사전 훈련 중 유사한 질문을 암기한 것인지, 훈련 데이터에서 지식을 추출하는 방식으로 사실 질문에 답하는지 확인하는 것.
• 사전 훈련 중 지식 추출을 가능하게 하는 데이터 증강(예: 다의어화, 문장 재배열)의 역할을 조사하는 것.
• 지식이 모델 가중치에 어떻게 인코딩되어 있으며, 탐색 기법을 통해 선형적으로 접근 가능한지 이해하는 것.
• 사전 훈련 중 지시 훈련 데이터를 통합할 경우, 최종 질문-답변 성능에 어떤 영향을 미치는지 평가하는 것.
• 구조적 탐색 기법을 사용하여 고자원 그룹에서 저자원 그룹으로 지식의 이식 가능성(transferability)을 조사하는 것.

제안 방법

• 통제된 속성(예: 생년월일, 도시 등)을 가진 10만 건의 생애사 합성 데이터셋을 구축하고, LLaMA를 사용해 자연어 스타일로 재작성하였다.
• 전체 데이터셋으로 언어 모델을 사전 훈련한 후, 개별 인물의 일부(비율 p)에서 유래한 질문-답변 쌍으로 피니테이닝하였다.
• 외부 분포(out-of-distribution) 인물(비율 1-p)에 대한 제로샷 일반화를 평가하여, 지식 추출과 암기 사이의 영향을 분리하였다.
• P-프로빙과 Q-프로빙을 적용하여, 엔티티 속성이 모델의 은닉 표현에 선형적으로 인코딩되어 있는지 분석하였다.
• 다양한 랭크 설정을 가진 LoRA 기반 피니테이닝을 사용하여, 매개변수 효율적 적응의 QA 성능에 대한 영향을 평가하였다.
• 전체 이름 사용, 문장 순서 변경, 형식 다양성 등 다양한 데이터 증강 전략 간의 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 언어 모델가 사실 질문에 답하는 데 있어 훈련 데이터에서 지식을 추출하는 방식인지, 아니면 사전 훈련 중 비슷한 질문을 암기하는 방식인지 여부?
• RQ2 사전 훈련 중 데이터 증강(예: 다의어화, 재배열)이 추론 시 사실 지식을 추출하는 능력에 어떤 영향을 미치는가?
• RQ3 엔티티에 대한 지식이 모델의 은닉 상태에 얼마나 선형적으로 인코딩되어 있으며, 이는 추출 가능성에 어떤 영향을 미치는가?
• RQ4 다양한 형식과 구조를 가진 셀럽 데이터를 사전 훈련에 포함시킬 경우, 고자원 그룹(예: 유명인)에서 유래한 지식이 저자원 그룹(예: 少數 민족)에 대해 지식 추출을 향상시키는가?
• RQ5 사전 훈련 중 지시 피니테이닝 데이터를 통합할 경우, 최종 QA 정확도에 어떤 영향을 미치는가?

주요 결과

• 사전 훈련 중 데이터 증강이 없을 경우, 모델은 훈련에 포함되지 않은 인물에 대해 0%의 QA 정확도를 기록하지만, 질문-답변 쌍으로 피니테이닝된 후에도 마찬가지로 성능이 유지된다.
• 데이터 다양성(예: 다의어화, 문장 재배열)과 모델의 지식 추출 능력 사이에 강한 상관관계가 존재하며, 이는 증강이 추출 가능한 지식 저장을 가능하게 한다는 것을 시사한다.
• 셀럽 데이터에 다양한 형식과 구조가 포함된 경우, 소수 민족 그룹에 대한 지식이 더 신뢰성 있게 추출되며, 이는 QA 정확도를 크게 향상시킨다.
• P-프로빙 결과, 셀럽 데이터를 사용할 경우 소수 민족 그룹에 대한 지식이 일반적으로 더 이른 토큰에 인코딩되어 있음을 확인하여, 속성에 대한 더 직접적이고 선형적인 인코딩이 이루어지고 있음을 나타낸다.
• Q-프로빙 결과, 증강된 데이터로 훈련된 모델은 전체 속성 예측 정확도가 높으며, 특히 전체 이름 사용과 다양한 문장 구조가 적용된 경우에 두드러진 성능 향상을 보였다.
• 높은 랭크 어댑터를 사용한 LoRA 기반 피니테이닝은 QA 성능을 향상시키지만, 이는 사전 훈련 데이터에 충분한 구조적 다양성이 포함되어 있어 선형 탐지 가능성을 지원할 때에만 성립한다.