[论文解读] Human brain activity for machine attention

Lukas Muttenthaler, Nora Hollenstein+1 more|arXiv (Cornell University)|Jun 9, 2020

EEG and Brain-Computer Interfaces参考文献 40被引用 6

一句话总结

本文提出了一种新颖的方法，从EEG数据中提取人类语言处理信号，并将其用于正则化NLP任务中的神经网络注意力机制。通过结合理论驱动的裁剪与基于随机森林的特征选择，作者从公开语料库中分离出任务区分性的EEG特征，证明低频EEG波段（theta和alpha）即使在数据有限的情况下也能提升关系分类和命名实体识别的性能——表明EEG信号可有效引导机器注意力。

ABSTRACT

Cognitively inspired NLP leverages human-derived data to teach machines about language processing mechanisms. Recently, neural networks have been augmented with behavioral data to solve a range of NLP tasks spanning syntax and semantics. We are the first to exploit neuroscientific data, namely electroencephalography (EEG), to inform a neural attention model about language processing of the human brain. The challenge in working with EEG data is that features are exceptionally rich and need extensive pre-processing to isolate signals specific to text processing. We devise a method for finding such EEG features to supervise machine attention through combining theoretically motivated cropping with random forest tree splits. After this dimensionality reduction, the pre-processed EEG features are capable of distinguishing two reading tasks retrieved from a publicly available EEG corpus. We apply these features to regularise attention on relation classification and show that EEG is more informative than strong baselines. This improvement depends on both the cognitive load of the task and the EEG frequency domain. Hence, informing neural attention models with EEG signals is beneficial but requires further investigation to understand which dimensions are the most useful across NLP tasks.

研究动机与目标

• 开发一种从嘈杂且高维的EEG数据中分离出与文本处理相关的EEG信号的方法。
• 探究通过EEG测量的人类大脑活动是否能改善NLP模型中的机器注意力。
• 评估不同EEG频段和嵌入维度对下游NLP性能的影响。
• 确定基于EEG的监督是否在序列分类任务中优于强基线模型。

提出的方法

• 对EEG数据应用理论驱动的裁剪，以隔离与文本处理相关的脑信号。
• 利用随机森林树分裂识别最能区分阅读任务的EEG特征。
• 通过在不同维度（5、15、30）的频域嵌入上进行最大池化，提取EEG注意力分数。
• 将这些基于EEG的注意力分数作为正则化信号注入多任务RNN模型，以引导词级别注意力。
• 在有限的EEG数据（12名参与者共300句NR和407句AR）上训练模型，并在命名实体识别和关系分类任务上进行评估。
• 比较不同EEG频段（theta、alpha、beta、gamma）和嵌入维度下的性能，以识别最优信号源。

实验结果

研究问题

• RQ1 在阅读过程中，哪些EEG特征最能区分不同的认知负荷？
• RQ2 基于EEG的注意力信号是否能提升关系分类和命名实体识别等NLP序列分类任务的性能？
• RQ3 EEG监督模型的性能如何随不同EEG频段而变化？
• RQ4 EEG嵌入的维度是否影响其对下游NLP任务的信号信息量？
• RQ5 阅读任务的认知负荷（正常阅读与标注阅读）如何影响EEG信号在引导机器注意力方面的效用？

主要发现

• 通过裁剪和随机森林选择提取的EEG特征，能成功区分公开EEG语料库中的正常阅读（NR）与标注阅读（AR）任务。
• 与beta（13.5–30 Hz）和gamma（30.5–49.5 Hz）频段相比，theta（4–8 Hz）和alpha（8.5–13 Hz）频段提供了更具信息量的信号，从而提升了下游性能。
• 5维theta嵌入的最大池化注意力分数在维基百科关系检测任务中优于更高维嵌入（15、30）。
• 性能提升在关系分类任务中更为显著，可能是因为命名实体识别的基线性能已较强。
• 低维EEG嵌入（如5D）在分类阅读任务时表现更优，因其保留了NR与AR之间最具区分性的信号。
• 尽管仅使用了12名参与者的300句NR和407句AR句子，基于EEG的监督仍带来可测量的性能提升，表明即使在数据有限的情况下也具有潜力。