[论文解读] FASTSUBS: An Efficient Admissible Algorithm for Finding the Most Likely Lexical Substitutes Using a Statistical Language Model

Deniz Yüret|arXiv (Cornell University)|May 24, 2012

Natural Language Processing Techniques被引用 1

一句话总结

FASTSUBS 是一种高效且可接纳的算法，利用n-gram语言模型在句子中查找某个词的K个最可能的词汇替换词，其计算复杂度在K和词表大小V上均低于线性。该算法通过大幅降低计算成本，同时保证最优性，实现了可扩展的大规模词汇替换实验。

ABSTRACT

Lexical substitutes have found use in areas such as paraphrasing, text simplification, machine translation, word sense disambiguation, and part of speech induction. However the computational complexity of accurately identifying the most likely substitutes for a word has made large scale experiments difficult. In this paper I introduce a new search algorithm, FASTSUBS, that is guaranteed to find the K most likely lexical substitutes for a given word in a sentence based on an n-gram language model. The computation is sub-linear in both K and the vocabulary size V. An implementation of the algorithm and a dataset with the top 100 substitutes of each token in the WSJ section of the Penn Treebank are available at this http URL.

研究动机与目标

• 解决在大规模NLP应用中识别词汇替换词时计算成本过高的问题。
• 开发一种搜索算法，基于n-gram语言模型保证找到K个最可能的替换词。
• 将词汇替换的计算复杂度从线性降低到K和词表大小V的亚线性复杂度。
• 通过提供高效且最优的解决方案，使大规模改写、文本简化及词义消歧实验成为可能。

提出的方法

• 该算法使用统计语言模型（n-gram）对上下文中的目标词的潜在词汇替换词进行打分。
• 采用最佳优先搜索策略，并基于替换词得分的上界进行剪枝，以避免穷举搜索。
• 维护一个候选替换词的优先队列，仅基于估计的可能性扩展最有希望的候选。
• 通过使用保守的上界，确保不会低估任何替换词的真实得分，从而保证算法的可接纳性。
• 通过高效剪枝搜索空间的大部分区域，实现在不牺牲最优性的情况下达到亚线性时间复杂度。
• 已公开提供算法实现及在Penn Treebank语料库WSJ部分中每个词的前100个替换词的数据集。

实验结果

研究问题

• RQ1 能否设计一种高效的搜索算法，使用统计语言模型在保证最优性的同时找到K个最可能的词汇替换词？
• RQ2 识别前K个替换词的计算复杂度是多少？能否将其降低到K和词表大小V的线性以下？
• RQ3 在大规模NLP任务中，所提出的算法与基线方法相比，在效率和准确性方面表现如何？
• RQ4 在不牺牲结果质量的前提下，词汇替换中能达到多大程度的亚线性复杂度？

主要发现

• FASTSUBS在K和词表大小V上均实现了亚线性计算时间，显著降低了词汇替换的计算成本。
• 该算法具有可接纳性，即保证找到K个最可能的替换词，不会遗漏任何最优候选。
• 该方法使此前因复杂度过高而无法实现的大规模词汇替换实验成为可能。
• 已公开发布Penn Treebank语料库WSJ部分中每个词的前100个词汇替换词的数据集，与算法实现一同提供。