[논문 리뷰] Aspects of human memory and Large Language Models

Romuald A. Janik|arXiv (Cornell University)|2023. 11. 07.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에서 기억 유사 행동을 조사하며, 전용 기억 아키텍처 없이도 인간의 기억 현상—예를 들어 우선성 효과와 최종성 효과—를 나타내는 것으로 밝혀졌다. 이러한 성질들은 훈련 데이터의 통계적 패턴에서 유래하며, 인간의 서사 구조가 우리가 글을 쓰는 방식을 통해 언어 모델에 각인되며, 단지 아키텍처 설계 때문이 아니라서이다.

ABSTRACT

Large Language Models (LLMs) are huge artificial neural networks which primarily serve to generate text, but also provide a very sophisticated probabilistic model of language use. Since generating a semantically consistent text requires a form of effective memory, we investigate the memory properties of LLMs and find surprising similarities with key characteristics of human memory. We argue that the human-like memory properties of the Large Language Model do not follow automatically from the LLM architecture but are rather learned from the statistics of the training textual data. These results strongly suggest that the biological features of human memory leave an imprint on the way that we structure our textual narratives.

연구 동기 및 목표

• 대규모 언어 모델(Large Language Models, LLMs)이 인간의 단기 기억과 유사한 기억 유사 행동을 보이는지 조사하기.
• 이러한 기억 특성이 아키텍처 설계 때문인지, 훈련 데이터의 통계적 규칙성 때문인지 규명하기.
• 인간 생물학적 기억이 서사적 문장의 구조를 형성하며 언어 모델에 검출 가능한 인상을 남긴다는 가설을 탐색하기.
• 순서 기억과 간섭 효과에 초점을 맞춰 LLM의 기억 성능을 인간 기억 실험과 비교하기.
• LLMs에서 나타나는 잠재적 기억 성질이 트랜스포머 아키텍처의 인도적 편향 때문인지, 언어 통계에서 학습된 것인지 평가하기.

제안 방법

• GPT-J(6B 파라미터)라는 60억 파라미터의 LLM을 대상으로 20개의 'has-a' 유형 사실 목록을 사용해 순서 기억 실험을 수행하여 기억 정확도를 측정하였다.
• 목록 내 다양한 위치에서의 기억 성능을 측정하여 우선성(초기 항목)과 최종성(최종 항목) 효과를 탐지하였다.
• 동일한 실체에 대한 충돌하는 사실을 도입하여 의미 간섭의 영향을 분석하고 기억 저하 정도를 평가하였다.
• 트랜스포머 아키텍처의 위치 임베딩을 사용하여 아키텍처적 특성이 단지 기억 효과를 설명할 수 있는지 검토하였다.
• 모델 규모와 훈련 제원의 역할을 분리하기 위해 GPT-J와 더 작은 모델(Pythia-70m 등)을 비교 분석하였다.
• 메모리 형성 시간을 평가하기 위해 질의와 대상 사실 사이의 거리를 변화시켜 기억 정확도 추세를 관찰하였다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLMs)은 인간 기억과 유사하게 순서 기억 작업에서 우선성 효과와 최종성 효과를 보이는가?
• RQ2 LLMs에서 관찰된 기억 유사 행동은 아키텍처의 인도적 편향(예: 위치 임베딩) 때문인지, 훈련 데이터에서 학습된 것인지?
• RQ3 의미 간섭은 LLM의 기억 정확도에 어떤 영향을 미치며, 이는 인간의 간섭에 의한 기억 상실과 유사한가?
• RQ4 기억 효과의 발생 여부가 모델 규모와 훈련 제원에 따라 달라지며, 이는 학습된 성질이 아키텍처 성질보다 더 중요하다는 것을 시사하는가?
• RQ5 인간이 작성한 서사의 통계적 구조가 LLM의 확률적 언어 모델에 얼마나 깊이 영향을 미치는가?

주요 결과

• GPT-J는 목록 위치에 따라 U자형의 기억 곡선을 보이며, 인간 기억 패tern과 유사하게 우선성 효과와 최종성 효과를 모두 나타낸다.
• 작은 Pythia-70m 모델에서는 최종성 효과가 관찰되지 않아, 이 현상이 더 큰, 더 복잡한 모델에서만 나타남을 시사한다.
• 목표 사실에서의 거리가 증가함에 따라 기억 정확도가 처음에는 증가하는 경향을 보이며, 위치 임베딩 기반의 아키텍처 편향 가설을 반박한다.
• 동일한 실체에 대한 다수의 사실이 존재할 경우 의미 간섭이 심해져 기억 정확도가 크게 저하되며, 이는 간섭이 기억 상실에 기여한다는 것을 뒷받침한다.
• LLMs의 기억 유사 행동은 트랜스포머 아키텍처에 직접적으로 유도된 것이 아니라, 훈련 데이터의 통계적 규칙성에서 유래된 것이다.
• 결과는 인간 생물학적 기억이 서사 구조에 검출 가능한 통계적 인상을 남기며, 이는 LLM 훈련 과정에서 내재화된다는 것을 시사한다.