[논문 리뷰] Instruction-tuning Aligns LLMs to the Human Brain

Khai Loong Aw, Syrielle Montariol외 3명|arXiv (Cornell University)|2023. 12. 01.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 지시 테이닝(instruction-tuning)이 대규모 언어 모델(Large Language Models, LLMs)과 인간 뇌 간의 일치도를 향상시키는지 조사한다. fMRI 연구에서 확보한 뇌 활동 데이터와 독서 시간에서 확보한 행동 데이터를 사용하여, 지시 테이닝을 거친 LLMs는 내부 표현이 인간 신경 반응을 예측하는 데 얼마나 잘 맞는지 측정한 뇌 일치도에서 평균 6.2% 향상됨을 발견하였다. 이는 주로 세계 지식과 모델 크기의 증가에 기인하며, 행동 일치도는 거의 변화가 없었다.

ABSTRACT

Instruction-tuning is a widely adopted finetuning method that enables large language models (LLMs) to generate output that more closely resembles human responses. However, no studies have shown that instruction-tuning actually teaches LLMs to process language in a similar manner as humans. We investigate the effect of instruction-tuning on aligning LLM and human language processing mechanisms in two ways: (1) brain alignment, the similarity of LLM internal representations to neural activity in the human language system, and (2) behavioral alignment, the similarity of LLM and human behavior on a reading task. We assess 25 vanilla and instruction-tuned LLMs on three datasets involving humans reading naturalistic stories and sentences, and find that instruction-tuning generally enhances brain alignment (~6%), but has no similar effect on behavioral alignment. To identify factors underlying this improvement in brain alignment, we compute correlations between brain alignment and various LLM properties, such as model size, problem-solving, and world knowledge understanding. Notably, we find a strong positive correlation between brain alignment and model size (r = 0.95), as well as performance on tasks requiring world knowledge (r = 0.81). Our results demonstrate that instruction-tuning LLMs improves both world knowledge representations and brain alignment, suggesting that the mechanisms that encode world knowledge in LLMs also improve representational alignment to the human brain.

연구 동기 및 목표

• 지시 테이닝이 LLM의 신경 표현과 행동 모두에서 인간의 언어 처리 방식과 유사하게 만드는지 확인하는 것.
• 자연어 이해 과정 중 LLM과 인간 fMRI 반응 간의 뇌 일치도를 평가하는 것.
• 인간 참가자들이 기록한 단어별 독서 시간을 기반으로 행동 일치도를 평가하는 것.
• LLM-뇌 일치도를 가장 강하게 예측하는 모델 성질을 특정하는 것.
• 지시 테이닝이 출력 모방을 넘어서 LLM의 인간 뇌 표현 유사도를 향상시키는지 조사하는 것.

제안 방법

• Pereira et al. (2018), Blank et al. (2014), Wehbe et al. (2014)의 세 개의 fMRI 데이터셋에서 25개의 LLMs—8개의 바닐라 모델과 17개의 지시 테이닝된 모델을 평가.
• Brain-Score라는 선형 예측성 지표를 사용해 뇌 일치도를 측정하였으며, 이는 LLM 표현이 인간 fMRI 활동을 얼마나 잘 예측하는지 평가한다.
• Futrell et al. (2018) 데이터셋에서 LLM의 단어별 퍼즐리티와 인간의 단어별 독서 시간 간 피어슨 상관계수를 통해 행동 일치도를 평가.
• 다음 단어 예측(NWP) 성능, 모델 크기, BBH(Big-Bench Hard) 및 MMLU(Massive Multi-task Language Understanding) 벤치마크 성능를 포함한 모델 성질을 계산.
• LLM 성질과 뇌 일치도 간의 관계를 분석하기 위해 피어슨 상관계수를 사용.
• 모든 결과를 재현 가능하도록 오픈소스 모델과 공개 리포지터리(Brain-Score 및 instruct-eval)를 사용해 복제.

실험 결과

연구 질문

• RQ1 지시 테이닝은 언어 처리 과정 중 LLM 내부 표현과 인간 뇌 활동 간의 유사도를 향상시키는가?
• RQ2 지시 테이닝은 독해 과제에서 LLM과 인간 간 행동 유사도를 향상시키는가?
• RQ3 크기, 세계 지식, 추론 능력 등 모델 성질 중 어떤 것이 LLM-뇌 일치도를 가장 잘 예측하는가?
• RQ4 뇌 일치도 향상은 세계 지식 향상 또는 기타 능력 향상 때문인가?
• RQ5 LLM의 추론 및 지식 벤치마크 성능은 인간 신경 반응과의 일치도와 어떻게 관련되는가?

주요 결과

• 지시 테이닝은 테스트된 LLM과 신경 데이터셋 전반에서 평균 6.2%의 뇌 일치도 향상을 보였다.
• 모델 크기와 뇌 일치도 사이에 강한 정적 상관관계가 존재한다(r = 0.95).
• MMLU 성능로 측정한 세계 지식은 뇌 일치도와 높은 정적 상관관계를 보인다(r = 0.81).
• 지시 테이닝은 뇌 일치도 향상에 기여하지만, 인간 독서 시간과의 행동 일치도에는 유의미한 영향을 주지 못했다.
• 현대의 Transformer 기반 LLM에서 다음 단어 예측 능력은 뇌 일치도와 일관된 상관관계를 보이지 않았다.
• 결과는 세계 지식과 모델 스케일이 인간 뇌 표현 유사도의 주요 추진력임을 시사한다.