[论文解读] A Biologically Plausible Parser

Daniel Mitropolsky, Michael Collins+1 more|arXiv (Cornell University)|Aug 4, 2021

Natural Language Processing Techniques参考文献 31被引用 6

一句话总结

本文提出了一种基于汇编演算（Assembly Calculus）框架的生物可塑性神经解析器，该框架通过风格化的神经元、突触及动态汇编操作来建模大脑功能。该模型成功解析了200个复杂英语句子和一个俄语测试集，且依赖结构一致，表明高层语法处理可从生物真实的神经动力学中涌现出来。

ABSTRACT

We describe a parser of English effectuated by biologically plausible neurons and synapses, and implemented through the Assembly Calculus, a recently proposed computational framework for cognitive function. We demonstrate that this device is capable of correctly parsing reasonably nontrivial sentences. While our experiments entail rather simple sentences in English, our results suggest that the parser can be extended beyond what we have implemented, to several directions encompassing much of language. For example, we present a simple Russian version of the parser, and discuss how to handle recursion, embedding, and polysemy.

研究动机与目标

• 开发一种基于已知神经生理学原理的生物可塑性句子解析神经模型。
• 证明高层语言处理——特别是句法解析——可从简单的神经元水平动力学与突触可塑性中涌现。
• 验证汇编演算框架在复杂认知功能（如语言解析）中的可扩展性与可靠性。
• 将模型扩展至非英语语言（如俄语），并探索其处理递归、嵌套结构与多义性的能力。
• 通过模拟汇编形成与交互的动态过程，建立神经科学与计算语言学之间的计算桥梁。

提出的方法

• 将每个词编码为专用词典区（Lex）中的独立神经汇编，采用随机稀疏连接与赫布可塑性。
• 通过词汇编的顺序激活，以及跨脑区的投影与合并操作，实现输入句子的动态交互处理。
• 采用读出程序，从活跃汇编的最终状态重构依赖图，确保结构与正确解析一致。
• 在原始汇编演算基础上增强操作，以支持词典化解析与依赖结构形成。
• 采用概率框架，由于随机连接组与抑制机制，使正确解析以高概率自然涌现。
• 通过在200个英语句子（涵盖20种句法模板）与24种带格标记的俄语句子变体上的模拟验证结果。

实验结果

研究问题

• RQ1 基于生物可塑性神经元与突触的神经系统，是否能仅通过汇编级操作可靠地解析复杂英语句子？
• RQ2 汇编演算框架在多大程度上能够以神经生物学真实的方式支持句法结构（如依赖图）的动态形成？
• RQ3 该解析器在句法多样的句子类型（包括递归、嵌套与格标记结构，如俄语）中具有怎样的泛化能力？
• RQ4 是否能将依赖于词身份与局部语境的上下文动作在汇编演算框架中实现神经编码与执行？
• RQ5 当前形式化体系在识别带标签依赖树方面存在哪些限制？能否构建一个上下文动作的“预言机”？

主要发现

• 该解析器在20种句法模板下正确解析了全部200个英语句子，读出程序始终能恢复正确的依赖结构。
• 对于俄语，该解析器在三重论元句子的全部24种变体中均生成了相同的依赖结构，准确识别了主语、间接宾语与直接宾语角色。
• 系统运行速度与人类大脑的语言处理能力相当，在合理数量的神经元放电周期内完成解析。
• 该模型展现出增量式处理特性，与实时句子理解的心理语言学发现一致。
• 结果支持如下假设：高层认知功能（如解析）可从由赫布可塑性与抑制机制支配的低层神经动力学中自然涌现。
• 该框架在处理多义性、递归与嵌套结构方面具有潜力，尽管当前版本尚未完全实现这些功能。