[논문 리뷰] Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data

Xinyi Wang, Antonis Antoniades외 5명|arXiv (Cornell University)|2024. 07. 20.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 의미 유사도와 빈도 수를 사용하여 대규모 언어 모델의 능력을 사전 훈련 데이터로 추적하기 위한 확장 가능한 n-gram 쌍 분석을 제안한다. 더 큰 모델은 임무 관련 n-gram 쌍을 활용하여 더 잘 일반화하는 반면, 더 작은 모델은 암기하는 경향이 있으며, 지시 훈련은 새로운 능력을 도입하지 않고도 데이터 활용도를 향상시킨다.

ABSTRACT

The impressive capabilities of large language models (LLMs) have sparked debate over whether these models genuinely generalize to unseen tasks or predominantly rely on memorizing vast amounts of pretraining data. To explore this issue, we introduce an extended concept of memorization, distributional memorization, which measures the correlation between the LLM output probabilities and the pretraining data frequency. To effectively capture task-specific pretraining data frequency, we propose a novel task-gram language model, which is built by counting the co-occurrence of semantically related $n$-gram pairs from task inputs and outputs in the pretraining corpus. Using the Pythia models trained on the Pile dataset, we evaluate four distinct tasks: machine translation, factual question answering, world knowledge understanding, and math reasoning. Our findings reveal varying levels of memorization, with the strongest effect observed in factual question answering. Furthermore, while model performance improves across all tasks as LLM size increases, only factual question answering shows an increase in memorization, whereas machine translation and reasoning tasks exhibit greater generalization, producing more novel outputs. This study demonstrates that memorization plays a larger role in simpler, knowledge-intensive tasks, while generalization is the key for harder, reasoning-based tasks, providing a scalable method for analyzing large pretraining corpora in greater depth.

연구 동기 및 목표

• 정확한 암기 외의 방식으로 사전 훈련 데이터가 LLM 능력에 어떻게 기여하는지 이해하기 위해.
• 모델 규모가 증가함에 따라 암기와 일반화 사이의 균형이 어떻게 변화하는지 조사하기 위해.
• 모델 성능이 사전 훈련 코퍼스의 특정 n-gram 쌍으로 돌아가는 방식을 추적하기 위해.
• 모델 크기와 지시 훈련이 데이터 활용도에 미치는 영향을 평가하기 위해.
• LLM 능력의 기원을 분석하기 위한 확장 가능하고 해석 가능한 방법을 제공하기 위해.

제안 방법

• 사전 훈련된 인코더를 사용한 임베딩 기반 유사도(코사인 유사도)를 통해 작업 입력과 출력에서 의미적으로 유사한 n-gram 쌍을 추출한다.
• WIMBD 프레임워크를 사용해 이러한 n-gram 쌍을 전체 사전 훈련 코퍼스(예: The Pile)에서 검색하고 빈도 수 및 소스 문서를 추출한다.
• n-gram 쌍 빈도를 통해 사전 훈련 데이터 분포를 모델링하고, 임무 관련 데이터에 대한 약한 지도 신호로 간주한다.
• n-gram 빈도를 사용해 조건부 분포 P(y|x)를 근사하고, 이를 언어 모델의 예측 분포와 로그 확률 회귀 분석을 통해 비교한다.
• 사전 훈련 데이터와 언어 모델 출력 간의 분포 유사도를 로그 데이터와 로그 언어 모델 확률 간 선형 회귀의 R² 점수를 사용해 측정한다.
• 생성된 n-gram의 기울기 유사도와 신규성 분석을 통해 암기와 일반화의 정도를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 모델 크기에서 사전 훈련 데이터의 임무 관련 n-gram 쌍은 모델 성능과 어떻게 관련되어 있는가?
• RQ2 더 큰 모델이 얼마나 일반화하는가에 대해, 이는 사전 훈련 데이터의 빈도와 어떻게 관련되어 있는가?
• RQ3 지시 훈련은 사전 훈련 데이터에 대한 모델의 의존도에 어떤 영향을 미치며, 이는 훈련 데이터 자체와는 독립적인가?
• RQ4 충분한 임무 관련 사전 훈련 데이터가 존재할 경우, 잠재 능력의 출현은 암기에서 일반화로의 전환에 의해 설명될 수 있는가?
• RQ5 n-gram 쌍 빈도는 모델 성능과 분포 일치도에 어떤 역할을 하는가?

주요 결과

• 임무 관련 n-gram 쌍은 단일 n-gram보다 임무 관련 데이터를 더 잘 대표하며, 빈도와 모델 성능 간에 정적 상관관계가 존재한다.
• 모델 크기가 증가함에 따라 암기가 감소하고 일반화 능력이 강화되며, 분포 유사도의 R² 점수는 초기에는 감소하다가 더 큰 모델에서는 약간 증가하는 경향을 보인다.
• 더 큰 모델에서의 잠재 능력은 충분한 임무 관련 사전 훈련 데이터와 관련이 있으며, 이는 암기에서 일반화로의 전이를 시사한다.
• 작은 LMs는 암기를 하며, 큰 LMs는 일반화하며 사전 훈련에서 볼 수 없었던 더 많은 새로운 n-gram을 생성한다.
• 지시 훈련은 훈련 데이터를 암기하지 않고도 데이터 활용도를 향상시키며, 사전 훈련 기간에 학습된 기존 능력을 향상시킨다는 점을 시사한다.
• 언어 모델 출력과 사전 훈련 데이터 간의 분포 유사도는 모델 크가 증가함에 따라 감소하며, 이는 암기가 감소하고 일반화 능력이 강화됨을 의미한다.