[论文解读] Instruction-tuning Aligns LLMs to the Human Brain

Khai Loong Aw, Syrielle Montariol+3 more|arXiv (Cornell University)|Dec 1, 2023

Topic Modeling被引用 5

一句话总结

本文研究了指令微调是否能增强大型语言模型（LLMs）与人类大脑之间的对齐。利用来自fMRI研究的脑活动数据和阅读时间的的行为数据，发现指令微调的LLMs在脑对齐方面平均提升了6.2%——通过衡量其内部表征预测人类神经反应的能力来衡量——主要归因于世界知识的增强和模型规模的扩大，尽管行为对齐基本保持不变。

ABSTRACT

Instruction-tuning is a widely adopted finetuning method that enables large language models (LLMs) to generate output that more closely resembles human responses. However, no studies have shown that instruction-tuning actually teaches LLMs to process language in a similar manner as humans. We investigate the effect of instruction-tuning on aligning LLM and human language processing mechanisms in two ways: (1) brain alignment, the similarity of LLM internal representations to neural activity in the human language system, and (2) behavioral alignment, the similarity of LLM and human behavior on a reading task. We assess 25 vanilla and instruction-tuned LLMs on three datasets involving humans reading naturalistic stories and sentences, and find that instruction-tuning generally enhances brain alignment (~6%), but has no similar effect on behavioral alignment. To identify factors underlying this improvement in brain alignment, we compute correlations between brain alignment and various LLM properties, such as model size, problem-solving, and world knowledge understanding. Notably, we find a strong positive correlation between brain alignment and model size (r = 0.95), as well as performance on tasks requiring world knowledge (r = 0.81). Our results demonstrate that instruction-tuning LLMs improves both world knowledge representations and brain alignment, suggesting that the mechanisms that encode world knowledge in LLMs also improve representational alignment to the human brain.

研究动机与目标

• 确定指令微调是否使LLM在神经表征和行为上都更接近人类语言处理方式。
• 评估LLM与人类fMRI反应在自然语言理解过程中的脑对齐情况。
• 利用人类参与者的逐词阅读时间数据，评估行为对齐情况。
• 识别最能预测LLM-大脑对齐的模型属性。
• 探究指令微调是否在输出模仿之外，真正提升了LLM表征与人类大脑的相似性。

提出的方法

• 在三个fMRI数据集（Pereira et al. (2018)、Blank et al. (2014) 和 Wehbe et al. (2014)）上评估了25个LLM——8个原始模型和17个指令微调模型。
• 使用Brain-Score这一线性可预测性度量指标来衡量脑对齐，该指标评估LLM表征预测人类fMRI活动的能力。
• 通过LLM逐词困惑度与人类逐词阅读时间之间的皮尔逊相关性，评估行为对齐，数据来自Futrell et al. (2018)数据集。
• 计算了包括下一个词预测（NWP）性能、模型规模，以及BBH（Big-Bench Hard）和MMLU（Massive Multi-task Language Understanding）基准表现在内的模型属性。
• 使用皮尔逊相关性分析LLM属性与脑对齐之间的关系。
• 通过开源模型和公开存储库（Brain-Score和instruct-eval）复现结果，确保完全可复现性。

实验结果

研究问题

• RQ1 指令微调是否提高了LLM内部表征与人类大脑活动在语言处理过程中的相似性？
• RQ2 指令微调是否增强了LLM与人类在阅读理解任务中的行为相似性？
• RQ3 哪些模型属性——如规模、世界知识或推理能力——最能预测LLM-大脑对齐？
• RQ4 脑对齐的提升是由于世界知识增强，还是其他能力所致？
• RQ5 LLM在推理和知识基准上的表现与它们与人类神经反应对齐程度之间的相关性如何？

主要发现

• 在测试的LLM和神经数据集中，指令微调使脑对齐平均提升了6.2%。
• 模型规模与脑对齐之间存在强烈正相关（r = 0.95）。
• 以MMLU表现衡量的世界知识与脑对齐呈高度正相关（r = 0.81）。
• 尽管对脑对齐有积极影响，指令微调并未显著提升LLM与人类阅读时间的行为对齐。
• 在现代基于Transformer的LLM中，下一个词预测能力与脑对齐之间未表现出一致的相关性。
• 结果表明，世界知识和模型规模是驱动LLM表征与人类大脑对齐的关键因素。