[论文解读] Improving semantic understanding in speech language models via brain-tuning

Omer Moussa, Dietrich Klakow+1 more|arXiv (Cornell University)|Oct 11, 2024

Speech and dialogue systems被引用 4

一句话总结

本文提出了「脑部微调」（brain-tuning）方法，通过在个体聆听自然故事时采集的fMRI记录，对预训练语音语言模型进行微调。通过在训练过程中引入脑活动数据，该方法显著提升了与人类脑区的语义对齐程度，减少了对低层次语音特征的依赖，并在多种下游语义任务中提升了性能，首次提供了汇聚性证据，表明脑部信息引导的训练可同时增强模型的类脑表征与实际应用性能。

ABSTRACT

Speech language models align with human brain responses to natural language to an impressive degree. However, current models rely heavily on low-level speech features, indicating they lack brain-relevant semantics which limits their utility as model organisms of semantic processing in the brain. In this work, we address this limitation by inducing brain-relevant bias directly into the models via fine-tuning with fMRI recordings of people listening to natural stories, a process we name brain-tuning. After testing it on 3 different pretrained model families, we show that brain-tuning not only improves overall alignment with new brain recordings in semantic language regions, but also reduces the reliance on low-level speech features for this alignment. Excitingly, we further show that brain-tuning leads to 1) consistent improvements in performance on a range of downstream tasks and 2) a representational space with increased semantic preference. Our results provide converging evidence, for the first time, that incorporating brain signals into the training of language models improves the models' semantic understanding.

研究动机与目标

• 为解决当前语音语言模型尽管与脑活动有较强对齐，但仍严重依赖低层次语音特征而非脑相关语义的问题。
• 开发一种利用fMRI记录直接向预训练语音模型注入脑相关语义偏置的方法。
• 评估脑部微调是否能提升与语义脑区的对齐程度，减少对低层次特征的依赖，并提升语义下游任务的性能。
• 证明提升脑部对齐程度可转化为超越神经科学研究评估的模型实用性的实际收益。

提出的方法

• 使用在参与者聆听自然故事时采集的fMRI记录，对三个预训练语音语言模型家族进行微调。
• 端到端训练模型，损失函数旨在最小化模型激活与语义语言区域fMRI活动之间的差异。
• 采用脑部微调目标，促使模型表征与自然语言输入的脑响应对齐。
• 将脑部微调模型与预训练模型及其两个基线模型进行比较：使用块置换fMRI数据的脑部微调，以及使用更大模型表征的微调。
• 在新的fMRI数据上评估与语义脑区的对齐程度，评估低层次特征（如三音素、发音）的影响，并测量在五个语义下游任务中的性能。
• 分析模型深层的表征相似性与语义偏好，以评估表征空间的变化。

(a) Proposed brain-tuning approach

实验结果

研究问题

• RQ1 脑部微调是否能提升语音语言模型与语义脑区fMRI记录之间的对齐程度？
• RQ2 脑部微调是否能减少模型为实现脑部对齐而对低层次语音特征的依赖？
• RQ3 脑部微调是否能在需要语义理解的下游任务中带来可测量的性能提升？
• RQ4 脑部微调模型的表征空间是否表现出更强的语义偏好？
• RQ5 脑部微调带来的性能提升是源于脑信号的引入，还是其他微调策略也能实现类似效果？

主要发现

• 脑部微调在所有三个测试的模型家族中，均显著提升了与新fMRI记录在语义脑区的对齐程度。
• 该方法显著降低了低层次语音特征（如三音素、发音）对与语义脑区对齐的影响，表明模型已向脑相关语义发生转变。
• 脑部微调模型在五个需要语义理解的下游任务中均表现出一致且显著的性能提升，包括语义难度各异的任务。
• 在测试的三个模型家族中，Whisper在脑部微调后，性能从接近基线水平跃升至全面优异表现，表明该方法具有广泛适用性。
• 脑部微调模型的表征空间表现出更强的语义偏好，尤其在深层网络中，证实了其向更具语义意义的表征转变。
• 该方法仅使用原始训练数据量的0.7%以下，即实现性能增益，证明了脑部微调方法具有极高的样本效率。

(b) Approach to estimate brain alignment and low-level feature impact