[논문 리뷰] Structural Similarities Between Language Models and Neural Response Measurements

Jiaang Li, Antonia Karamolegkou외 4명|arXiv (Cornell University)|2023. 06. 02.

Topic Modeling참고 문헌 42인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 크기가 커질수록 언어 이해 과정 중 뇌 영상(fMRI)으로 측정된 신경 반응 패tern과 내부 단어 표현 간의 구조적 유사성이 점점 증가함을 보여준다. 리지 회귀, 표현 유사도 분석(RSA), 그리고 확률 분석(Procrustes analysis)을 사용하여 저자들은 LLM이 fMRI 데이터에서 단어를 복원하는 데 최대 25%의 정밀도-at-10을 달성함을 입증하였으며, 이는 무작위 기준보다 유의미하게 높은 수준으로, 인공신경망과 인간의 언어 표현 간의 기하학적 일치를 시사한다.

ABSTRACT

Large language models (LLMs) have complicated internal dynamics, but induce representations of words and phrases whose geometry we can study. Human language processing is also opaque, but neural response measurements can provide (noisy) recordings of activation during listening or reading, from which we can extract similar representations of words and phrases. Here we study the extent to which the geometries induced by these representations, share similarities in the context of brain decoding. We find that the larger neural language models get, the more their representations are structurally similar to neural response measurements from brain imaging. Code is available at \url{https://github.com/coastalcph/brainlm}.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)의 표현 기하학이 언어 처리 과정 중 인간의 뇌 신경 반응과 얼마나 일치하는지 조사하기 위해.
• 모델 크기를 증가시킬수록 LLM 표현과 fMRI로 측정된 뇌 활동 간의 구조적 유사성이 향상되는지 확인하기 위해.
• LLM 기반 표현을 사용하여 fMRI 신호로부터 언어적 개념을 복원하는 것이 가능한지 평가하기 위해.
• 이러한 일치가 의미론적 기반(semantic grounding)과 관련하여 철학적 및 인지적 함의를 어떻게 갖는지 탐색하기 위해.
• 모델 깊이가 인간 신경 표현과의 더 나은 일치를 이루는 데 어떤 역할을 하는지 평가하기 위해.

제안 방법

• 이 연구는 BERT를 포함한 세 가지 LLM 패밀리와 하나의 정적 임베딩 방법의 단어 표현을, 두 개의 공개된 데이터셋(Harry Potter 및 Natural Stories 데이터셋)의 fMRI 데이터와 비교한다.
• 표현 유사도 분석(RSA)을 사용하여 LLM과 fMRI 표현 공간 간의 기하학적 유사도를 정량화한다.
• 리지 회귀를 적용하여 LLM 표현으로부터 fMRI 반응을 예측하고, 정밀도-at-k(P@k)를 통해 복원 성능을 평가한다.
• 차원 수가 일치할 경우(LLM과 fMRI 표현의 차원 수 d = d’)에 Procrustes 분석을 사용하여 두 표현 간의 이sovomorphism(형상 일치)을 평가한다.
• fMRI 데이터에 가우시안 스무딩을 적용하여 노이즈를 완화하고 신호 대 노이즈 비율을 향상시킨다.
• 다양한 모델 크기와 레이어를 대상으로 분석하여 깊이에 따른 일치 경향을 평가한다.

Figure 1: Experimental flow and main results. We run experiments with three families of LLMs (comparing LLMs of different sizes within families), two fMRI datasets, and three projection algorithms, and results are the same across all combinations: LLMs converge toward human-like representations, ena

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLMs)의 표현 기하학이 언어 이해 과정에서 인간의 뇌 신경 반응과 얼마나 유사한가?
• RQ2 모델 크기를 증가시킬수록 LLM 표현과 fMRI로 측정된 뇌 활동 간의 구조적 유사성은 어떻게 변화하는가?
• RQ3 특히 후행 레이어에서 모델 깊이가 증가할수록 LLM과 뇌 신경 표현 간의 일치가 향상되는가?
• RQ4 LLM 표현을 사용하여 fMRI 신호에서 단어 수준의 복원이 가능할 수 있으며, 이 성능은 무작위 기준과 비교해 어떻게 다를까?
• RQ5 인공적 표현과 생물학적 표현 간의 관찰된 이sovomorphism(형상 일치)은 철학적으로 어떤 의미를 갖는가?

주요 결과

• 가장 큰 LLM은 fMRI 신호에서 단어를 복원하는 데 정밀도-at-10(P@10)로 최대 25%의 성능을 기록하였으며, 이는 1% 미만인 무작위 기준보다 훨씬 높은 성능이다.
• 연구된 세 가지 LLM 패밀리 전반에서 모델 크기가 커질수록 LLM 표현과 fMRI 반응 간의 구조적 유사성이 일관되게 증가한다.
• LLM의 더 깊은 레이어에서 인간 신경 표현과의 일치가 더 강하며, 이는 포화 상태에 도달하지 않고 계속 향상됨을 시사하여 깊이 증가에 따른 추가적인 향상 가능성을 보여준다.
• 두 개의 서로 다른 fMRI 데이터셋과 세 가지 평가 방법(리지 회귀, RSA, Procrustes 분석) 모두에서 일치는 강건하게 유지된다.
• 관찰된 이sovomorphism은 단순한 우연이 아니며, LLM과 fMRI 표현의 가장 가까운 이웃 그래프 구조가 특별히 일치함을 보여, 의미론적 기반의 가능성을 뒷받침한다.
• 결과는 LLM 내의 의미론적 및 맥락적 표현이 인간 뇌 반응과 특히 잘 일치하는 반면, 초기 레이어의 문법적 표현은 상대적으로 약한 대응을 보임을 시사한다.

Figure 2: Convergence Results for Three Families of Language Models on Two Datasets . The task for Harry Potter dataset here is: Given a neural response, which word in a vocabulary of 1,291 words, was read at the time the response was recorded? Random retrieval baseline P@10 is less than $1\%$ , whi