[论文解读] Dependency Parsing with Dynamic Bayesian Network

Virginia Savova, Leonid Peshkin|arXiv (Cornell University)|Mar 27, 2007

Natural Language Processing Techniques参考文献 13被引用 6

一句话总结

本文提出一种用于依存句法分析的动态贝叶斯网络（DBN），将句法分析视为一系列局部分类决策，通过基于局部核心词-修饰词关系递归压缩字符串，使模型能够处理无界的非局部依存关系。该模型成功实现了对华尔街日报语料库中文本的精确句法分析，表明复杂的句法结构可通过局部、生物上合理的推理机制进行学习。

ABSTRACT

Exact parsing with finite state automata is deemed inappropriate because of the unbounded non-locality languages overwhelmingly exhibit. We propose a way to structure the parsing task in order to make it amenable to local classification methods. This allows us to build a Dynamic Bayesian Network which uncovers the syntactic dependency structure of English sentences. Experiments with the Wall Street Journal demonstrate that the model successfully learns from labeled data.

研究动机与目标

• 解决马尔可夫模型在捕捉自然语言句法中无界非局部依存关系方面的局限性。
• 将依存句法分析重新表述为一系列局部分类任务，使其适用于动态贝叶斯网络。
• 开发一种生物上合理且能够从标注数据中学习分层句法结构的句法分析模型。
• 探讨递归局部处理是否能够模拟大脑使用有限手段实现无限语言使用的潜能。

提出的方法

• 解析器通过递归识别字符串中的局部核心词-修饰词关系，将每个词标记为依赖于其左邻、右邻或两者皆非。
• 训练动态贝叶斯网络以在字符串压缩的每个阶段对这些局部依存关系进行分类。
• 模型按层级处理句子，从完整字符串开始，逐步移除已连接的修饰语，直至仅剩根节点。
• DBN以一系列标注字符串作为输入，每一层代表前一层的压缩版本，从而实现分层结构的恢复。
• 该模型利用了字符串中非局部依存关系在依存树中变为局部关系的特性，使局部决策能够重构全局结构。
• 学习过程为监督学习，使用华尔街日报语料库的标注数据，训练DBN对局部依存关系进行判断。

实验结果

研究问题

• RQ1 仅依赖局部分类决策，动态贝叶斯网络能否有效建模长距离句法依存关系？
• RQ2 如何将依存句法分析重构为一系列保留全局句法结构的局部决策？
• RQ3 生物上合理的神经机制在多大程度上可通过近似贝叶斯推理实现此解析策略？
• RQ4 递归局部解析在处理模糊或非短语内依存关系时存在哪些局限性？

主要发现

• DBN解析器成功从华尔街日报语料库的标注数据中学习并恢复了句法依存结构。
• 该模型在递归推导的所有层级上均捕捉到语法知识，表现出对不同依存距离的鲁棒性。
• 该方法具有生物合理性，因其可在使用整合-放电神经元的神经回路中实现，执行近似贝叶斯推理。
• 该模型仅能处理类似上下文无关的依存关系，对严格上下文相关结构（如插入成分非短语的情况）失效。
• 当前模型会丢失被连接修饰语的语义信息，因此无法区分结构上不同的句子，例如 'saw the camel with a telescope' 和 'saw the camel with two humps'。
• 未来改进方向包括引入束搜索（beam search）和对修饰语的语义追踪，以解决决策不可逆性和结构歧义性问题。