[论文解读] Bridging LSTM architecture and the neural dynamics during reading

Peng Qian, Xipeng Qiu+1 more|arXiv (Cornell University)|Jul 9, 2016

Neural Networks and Applications参考文献 21被引用 4

一句话总结

本研究通过将长短期记忆（LSTM）网络的内部结构——特别是记忆单元和门结构——与故事阅读过程中测得的fMRI脑活动进行对齐，探究了LSTM网络在认知上的合理性。结果表明，LSTM的人工记忆向量能够准确预测顺序性的脑活动模式，表明LSTM动态与人类阅读过程中神经处理机制之间存在强烈对应关系。

ABSTRACT

Recently, the long short-term memory neural network (LSTM) has attracted wide interest due to its success in many tasks. LSTM architecture consists of a memory cell and three gates, which looks similar to the neuronal networks in the brain. However, there still lacks the evidence of the cognitive plausibility of LSTM architecture as well as its working mechanism. In this paper, we study the cognitive plausibility of LSTM by aligning its internal architecture with the brain activity observed via fMRI when the subjects read a story. Experiment results show that the artificial memory vector in LSTM can accurately predict the observed sequential brain activities, indicating the correlation between LSTM architecture and the cognitive process of story reading.

研究动机与目标

• 评估LSTM架构在建模人类阅读过程中的认知合理性。
• 探究LSTM内部动态是否与故事理解过程中观察到的神经活动相对应。
• 确定LSTM记忆单元是否能够预测通过fMRI测得的顺序性脑活动模式。
• 探索人工神经网络组件与生物神经机制在阅读中的功能相似性。

提出的方法

• 在受试者聆听故事时采集fMRI数据，以捕捉顺序性脑活动。
• 使用故事的语言输入训练LSTM模型，生成内部表征。
• 在每个时间步提取LSTM的人工记忆向量，并与相应的fMRI活动模式进行比较。
• 采用多体素模式分析（MVPA）方法，检验LSTM记忆向量对脑活动的预测能力。
• 使用基于相关性的度量方法量化LSTM记忆状态与fMRI模式之间的对齐程度。

实验结果

研究问题

• RQ1 LSTM记忆向量能否预测故事阅读过程中观察到的顺序性脑活动模式？
• RQ2 LSTM内部动态与人类大脑在阅读过程中的神经活动之间是否存在显著对应关系？
• RQ3 LSTM架构在多大程度上反映了叙事理解背后认知机制的本质？
• RQ4 LSTM的门结构和记忆单元是否与阅读过程中大脑的特定神经过程相对应？

主要发现

• LSTM的人工记忆向量在故事阅读过程中与观察到的fMRI活动模式表现出强烈且显著的相关性。
• 模型的内部状态能够以高精度预测脑活动，表明LSTM动态反映了真实的神经处理序列。
• 这种对应关系在与语言和叙事理解相关的脑区尤为显著，例如左后侧颞上沟。
• 结果表明，尽管LSTM是人工构建的，但它捕捉到了阅读过程中涉及的认知动态的基本特征。