[论文解读] Bootstrapping Structure using Similarity

Menno van Zaanen|ArXiv.org|Apr 3, 2001

Natural Language Processing Techniques参考文献 16被引用 6

一句话总结

本文提出 ABL（基于对齐的学习），一种无监督语法归纳算法，通过对比共享词汇的句子对来对齐并识别可互换的成分，从而从无标注句子中自举句法结构。该方法在 ATIS 语料库上达到 86.04% 的非交叉括号精确率，在 OVIS 语料库上达到 89.39%，展示了在无需预标注数据或超参数调优的情况下有效学习句法结构的能力。

ABSTRACT

In this paper a new similarity-based learning algorithm, inspired by string edit-distance (Wagner and Fischer, 1974), is applied to the problem of bootstrapping structure from scratch. The algorithm takes a corpus of unannotated sentences as input and returns a corpus of bracketed sentences. The method works on pairs of unstructured sentences or sentences partially bracketed by the algorithm that have one or more words in common. It finds parts of sentences that are interchangeable (i.e. the parts of the sentences that are different in both sentences). These parts are taken as possible constituents of the same type. While this corresponds to the basic bootstrapping step of the algorithm, further structure may be learned from comparison with other (similar) sentences. We used this method for bootstrapping structure from the flat sentences of the Penn Treebank ATIS corpus, and compared the resulting structured sentences to the structured sentences in the ATIS corpus. Similarly, the algorithm was tested on the OVIS corpus. We obtained 86.04 % non-crossing brackets precision on the ATIS corpus and 89.39 % non-crossing brackets precision on the OVIS corpus.

研究动机与目标

• 开发一种无监督语法归纳系统，从无标注句子中学习句法结构，而无需依赖预标注或预加括号的语料库。
• 通过基于相似性的对齐识别可互换的句子成分，模拟人类对句法结构的习得过程。
• 仅利用表面层面的词相似性，从有限数量的句子中实现递归结构学习。
• 通过基于概率的模型改进括号选择，优先选择一致且高概率的成分。
• 通过引入等价类来放宽对精确词匹配的严格约束，以支持语义或功能上相似的词的对齐。

提出的方法

• 该算法通过比较一对未结构化或部分加括号的句子（这些句子共享一个或多个共同词汇）来执行对齐学习。
• 它将对齐句子之间不同的部分识别为可互换成分，将其视为同一句法类型的候选。
• 三种变体——ABL:incr、ABL:leaf 和 ABL:branch——在括号选择策略上有所不同，其中 ABL:branch 使用随机模型选择最可能的成分。
• 引入等价类以允许对语义或功能上相似的词（例如，“book” 和 “list” 作为动词）进行对齐，从而放松对精确词匹配的需求。
• 该方法不使用固定窗口大小，允许在完整句子上下文中对任意长度的成分进行对齐。
• 系统不依赖预训练的词性标签、标注或参数，完全依赖原始文本中的结构相似性和分布模式。

实验结果

研究问题

• RQ1 是否可以仅通过词级别相似性和对齐，从无标注句子中有效自举句法结构？
• RQ2 无监督算法如何在无结构化训练语料库访问的情况下学习递归句法结构？
• RQ3 在句法类型不同的情况下，功能相似性（例如，修饰同一个名词）在多大程度上可用于对成分进行分组？
• RQ4 当缺乏精确词匹配时，为语义相关词汇引入等价类是否能改善结构学习？
• RQ5 括号选择策略的选择（例如 ABL:branch 与 ABL:incr）如何影响最终句法加括号的精确率？

主要发现

• ABL 算法成功从原始无标注句子中学习句法结构，在 ATIS 语料库上达到 86.04% 的非交叉括号精确率。
• 在更大的 OVIS 语料库上，该算法实现了 89.39% 的非交叉括号精确率，表明其具备可扩展性和鲁棒性。
• 使用更具体随机模型进行括号选择的 ABL:branch 变体，在精确率上优于 ABL:incr 和 ABL:leaf。
• 该算法能够从有限数量的句子中学习递归结构，表明其具备捕捉层次句法模式的能力。
• 引入相似词汇的等价类（例如，“book” 和 “list” 作为动词）使得在缺乏精确词匹配的情况下也能实现结构学习。
• 该方法能够区分句法类型（例如，名词与形容词）与功能类型（例如，修饰名词），从而基于上下文实现更细致的成分分组。