[论文解读] Left-corner Methods for Syntactic Modeling with Universal Structural Constraints

Hiroshi Noji|arXiv (Cornell University)|Aug 1, 2016

Topic Modeling参考文献 136被引用 3

一句话总结

本文提出左角解析方法，以利用跨语言的普遍句法约束——尤其是中心嵌套避免——的特性。通过将左角解析扩展至依存语法，并分析20多个通用依存树库，研究发现中心嵌套在所有语言中均极为罕见，且利用该约束可提升无监督语法归纳与解析性能。

ABSTRACT

The primary goal in this thesis is to identify better syntactic constraint or bias, that is language independent but also efficiently exploitable during sentence processing. We focus on a particular syntactic construction called center-embedding, which is well studied in psycholinguistics and noted to cause particular difficulty for comprehension. Since people use language as a tool for communication, one expects such complex constructions to be avoided for communication efficiency. From a computational perspective, center-embedding is closely relevant to a left-corner parsing algorithm, which can capture the degree of center-embedding of a parse tree being constructed. This connection suggests left-corner methods can be a tool to exploit the universal syntactic constraint that people avoid generating center-embedded structures. We explore such utilities of center-embedding as well as left-corner methods extensively through several theoretical and empirical examinations. Our primary task is unsupervised grammar induction. In this task, the input to the algorithm is a collection of sentences, from which the model tries to extract the salient patterns on them as a grammar. This is a particularly hard problem although we expect the universal constraint may help in improving the performance since it can effectively restrict the possible search space for the model. We build the model by extending the left-corner parsing algorithm for efficiently tabulating the search space except those involving center-embedding up to a specific degree. We examine the effectiveness of our approach on many treebanks, and demonstrate that often our constraint leads to better parsing performance. We thus conclude that left-corner methods are particularly useful for syntax-oriented systems, as it can exploit efficiently the inherent universal constraints in languages.

研究动机与目标

• 识别可改善以句法为导向的NLP系统的语言无关句法约束。
• 调查中心嵌套——已知在认知上具有难度——是否在自然语言中普遍存在避免现象。
• 开发一种左角解析算法，以高效捕捉依存树中中心嵌套的程度。
• 评估通过中心嵌套避免来约束搜索空间是否能提升无监督语法归纳性能。
• 利用通用依存项目中的多语言依存树库验证句法模式的普遍性。

提出的方法

• 将左角解析扩展至依存语法，以在句子处理过程中追踪中心嵌套的程度。
• 定义一种基于栈的左角PDA，其中在移进某个词之前栈的深度即对应于该词的中心嵌套程度。
• 通过形式化证明表明，在移进词e之前，栈深度δe等于m′e + 1，其中m′e为e的中心嵌套程度。
• 将左角解析框架应用于无监督语法归纳，通过限制搜索空间仅包含低中心嵌套程度的结构。
• 使用来自通用依存项目的一组20多个多语言依存树库进行实证评估。
• 实现一种解析器，通过排除超过用户定义阈值的高中心嵌套推导路径，高效地对搜索空间进行表格化。

实验结果

研究问题

• RQ1 中心嵌套是否在多种自然语言中普遍存在避免现象，其程度如何？
• RQ2 左角解析能否有效建模并量化依存树中中心嵌套的程度？
• RQ3 将中心嵌套避免作为普遍约束引入，是否能提升无监督语法归纳的性能？
• RQ4 左角解析机制与句法结构中中心嵌套程度的形式定义之间有何关系？
• RQ5 普遍句法约束在多大程度上可减少语法归纳中的搜索空间，同时不降低准确性？

主要发现

• 在通用依存树库中分析的20多种语言中，中心嵌套是一种罕见现象。
• 左角解析算法成功捕捉了中心嵌套的程度，其中在移进某个词之前栈的深度恰好比其中心嵌套程度大1。
• 形式化证明表明，左角PDA中的最大栈深度对应于解析树中最大的中心嵌套程度。
• 在无监督语法归纳中，应用中心嵌套约束后，多个树库的解析性能均得到提升。
• 左角方法能高效利用普遍句法约束，在保持或提升模型准确性的前提下减少搜索空间。
• 结果支持了中心嵌套避免是普遍语言约束的假设，且该约束可在句法建模中被计算利用。