[论文解读] LSBert: A Simple Framework for Lexical Simplification

Jipeng Qiang, Yun Li+3 more|arXiv (Cornell University)|Jun 25, 2020

Text Readability and Simplification参考文献 31被引用 14

一句话总结

LSBert 是一种基于 BERT 的词汇简化框架，利用上下文表征识别复杂词汇，并生成上下文感知、语义等价的简化形式。通过整合五种高质量特征——包括 BERT 的预测顺序、语言模型和 PPDB——LSBert 在三个基准测试上实现了最先进性能，准确率较之前方法提升 29.8 个百分点。

ABSTRACT

Lexical simplification (LS) aims to replace complex words in a given sentence with their simpler alternatives of equivalent meaning, to simplify the sentence. Recently unsupervised lexical simplification approaches only rely on the complex word itself regardless of the given sentence to generate candidate substitutions, which will inevitably produce a large number of spurious candidates. In this paper, we propose a lexical simplification framework LSBert based on pretrained representation model Bert, that is capable of (1) making use of the wider context when both detecting the words in need of simplification and generating substitue candidates, and (2) taking five high-quality features into account for ranking candidates, including Bert prediction order, Bert-based language model, and the paraphrase database PPDB, in addition to the word frequency and word similarity commonly used in other LS methods. We show that our system outputs lexical simplifications that are grammatically correct and semantically appropriate, and obtains obvious improvement compared with these baselines, outperforming the state-of-the-art by 29.8 Accuracy points on three well-known benchmarks.

研究动机与目标

• 解决现有无监督词汇简化方法在孤立状态下生成替代词候选的局限性，未考虑句子上下文。
• 通过在词汇简化流程的三个步骤——复杂词识别、替代词生成和排序——中整合上下文信息，提升简化后句子的语法正确性和语义等价性。
• 开发一种简单、端到端的框架，消除对人工构建的语言学数据库或平行语料库的依赖。
• 仅使用单语原始文本和预训练 BERT 表征，在标准词汇简化基准测试上实现最先进性能。
• 通过利用 BERT 在大规模原始文本上的预训练，实现跨语言的广泛适用性。

提出的方法

• 使用基于 BiLSTM 的序列标注模型在上下文中检测复杂词，相较于孤立词分析，提升了上下文感知识别能力。
• 通过将复杂词替换为 [MASK] 标记，应用 BERT 的掩码语言建模机制，预测最可能的词汇作为候选替代。
• 基于 BERT 对掩码标记的词汇表概率分布生成替代词候选，确保选择具有上下文敏感性。
• 使用五种特征对候选替代词进行排序：BERT 的预测顺序、基于 BERT 的语言模型得分、基于 PPDB 的 paraphrase 相似度、词频和词汇相似度。
• 递归应用简化过程，逐个替换一个词，同时保持句子的连贯性和语法正确性。
• 利用预训练 BERT 模型，无需在标注数据上微调，完全依赖模型在大规模单语文本预训练中获得的上下文理解能力。

实验结果

研究问题

• RQ1 预训练语言模型（如 BERT）是否能通过在候选生成和排序过程中捕捉上下文信息，提升词汇简化性能？
• RQ2 除了词频和相似度之外，整合多种高质量特征是否能带来更准确、更符合上下文的简化结果？
• RQ3 基于 BERT 的完全无监督、端到端框架是否能在不依赖平行语料库或语言学数据库的情况下，超越现有的基于规则和嵌入的方法？
• RQ4 与上下文无关的方法相比，上下文感知的候选生成如何影响简化后句子的语法正确性和语义等价性？
• RQ5 所提出的框架在多样化词汇简化基准和真实世界文本中的泛化能力如何？

主要发现

• LSBert 在三个知名词汇简化基准测试上，相比之前最先进方法，准确率提升 29.8 分。
• 通过在 WikiLarge 数据集上的定性分析验证，该框架生成的简化结果在语法正确性和语义等价性方面均表现良好。
• LSBert 在生成上下文恰当的替代词方面优于基线方法（如 Glavaš 和 REC-LS），避免了虚假或语义扭曲的输出。
• BERT 的预测顺序和语言模型得分的整合显著提升了候选排序质量，减少了错误或不连贯的简化结果。
• 该方法在多种句型和复杂词类别（包括动词、名词和形容词）中均表现出稳健性。
• 即使在递归应用时，该框架仍能保持句子的连贯性和一致性，确保多步简化过程的稳定性。