[论文解读] Bootstrapping Syntax and Recursion using Alignment-Based Learning

Menno van Zaanen|arXiv (Cornell University)|Apr 3, 2001

Natural Language Processing Techniques参考文献 14被引用 6

一句话总结

本文提出了一种无监督语法归纳算法——对齐学习（Alignment-Based Learning, ABL），通过配对句子对齐以识别可替换、可互换的片段，从而发现句法成分，该方法基于Harris的可互换性理论。该方法在无需词性标注或预标注括号的情况下成功学习了递归句法结构，在ATIS语料库上达到了86.47%的精确率，表明仅通过基于对齐的学习即可实现递归结构的涌现。

ABSTRACT

This paper introduces a new type of unsupervised learning algorithm, based on the alignment of sentences and Harris's (1951) notion of interchangeability. The algorithm is applied to an untagged, unstructured corpus of natural language sentences, resulting in a labelled, bracketed version of the corpus. Firstly, the algorithm aligns all sentences in the corpus in pairs, resulting in a partition of the sentences consisting of parts of the sentences that are similar in both sentences and parts that are dissimilar. This information is used to find (possibly overlapping) constituents. Next, the algorithm selects (non-overlapping) constituents. Several instances of the algorithm are applied to the ATIS corpus (Marcus et al., 1993) and the OVIS (Openbaar Vervoer Informatie Systeem (OVIS) stands for Public Transport Information System.) corpus (Bonnema et al., 1997). Apart from the promising numerical results, the most striking result is that even the simplest algorithm based on alignment learns recursion.

研究动机与目标

• 开发一种无监督语法学习算法，从原始未标注句子中发现句法成分。
• 探究仅通过基于对齐的学习是否能实现递归结构的涌现，而无需显式的结构偏置。
• 评估对齐与选择阶段在识别有效、非重叠句法成分方面的有效性。
• 在标准语料库上与现有语法归纳方法对比ABL的性能。
• 探究对齐策略与选择启发式方法在决定最终句法结构中的作用。

提出的方法

• 该算法使用带成本函数的编辑距离执行成对句子对齐，该成本函数优先考虑相同词（成本为0）、插入/删除操作（成本为1）和替换操作（成本为2）。
• 通过识别对齐句子之间的不相似片段作为候选句法成分，并根据共享的替换模式为其分配非终结符。
• 对齐阶段使用默认成本函数以寻找最长公共子序列，但当词序显著不同时，可能导致虚假分割。
• 为解决对齐歧义，该方法探索通过等价类弱化精确词匹配，使语义或句法上相似的词可被视为可互换。
• 采用两阶段方法：首先，对齐学习识别所有可能的重叠句法成分；其次，选择学习利用概率评分从非重叠、最可能的成分中选出最优解。
• 选择方法使用叶级或分支级统计信息，其中后者对结构特异性更敏感，因而表现更优。

实验结果

研究问题

• RQ1 仅通过句子对齐与可互换性，语法归纳算法能否在无任何预标注的前提下学习递归句法结构？
• RQ2 不同的对齐策略（如编辑距离与等价类）如何影响所归纳句法成分的质量与连贯性？
• RQ3 基于统计频率与结构特异性的选择启发式方法在多大程度上影响最终括号标注的准确性？
• RQ4 该算法能否泛化到更大规模的真实世界语料库（如OVIS），其性能是否随语料规模增大而提升？
• RQ5 该算法在不同词序偏好的语言中（如右分支结构的英语与左分支结构的日语）是否保持鲁棒性？

主要发现

• ABL系统在ATIS语料库上实现了86.47%的精确率与87.14%的召回率，显著优于无监督基线（37.35%精确率）与右分支结构基线（82.70%精确率）。
• 采用分支级统计信息的选择方法优于使用叶级统计信息的方法，表明结构特异性可提升准确性。
• 该算法成功归纳出递归句法结构，证明递归结构可从基于对齐的学习中自然涌现，无需预先设定结构偏置。
• 即使在对齐存在歧义的情况下（如词序相反的句子，例如‘from San Francisco to Dallas’与‘from Dallas to San Francisco’），通过优化对齐策略，算法仍能识别出有意义的句法成分。
• 该系统在更大的OVIS语料库（6,797个句子）上表现良好，表明其可扩展至非小规模、领域特定的语料库。
• 当句子缺乏精确词匹配时，该方法依然有效，尤其在引入等价类以支持语义或句法相关词的匹配后效果更佳。