[论文解读] Predicting Lexical Complexity in English Texts.

Matthew Shardlow, Richard Evans+1 more|arXiv (Cornell University)|Feb 17, 2021

Text Readability and Simplification参考文献 63被引用 16

一句话总结

本文研究了英语复杂词识别（CWI）数据集的特性，通过分析现有标注语料库，理解其特征与局限性。本文提出了一套系统化的数据集质量评估方法，重点关注词汇复杂性标注的一致性与目标人群特异性，为改进文本简化系统提供洞见。

ABSTRACT

The first step in most text simplification is to predict which words are considered complex for a given target population before carrying out lexical substitution. This task is commonly referred to as Complex Word Identification (CWI) and it is often modelled as a supervised classification problem. For training such systems, annotated datasets in which words and sometimes multi-word expressions are labelled regarding complexity are required. In this paper we analyze previous work carried out in this task and investigate the properties of complex word identification datasets for English.

研究动机与目标

• 考察现有英语复杂词识别（CWI）数据集的特性与属性。
• 评估不同数据集中词汇复杂性标注的一致性与可靠性。
• 识别当前数据集在影响词汇复杂性预测模型性能方面存在的缺陷与局限。
• 为未来CWI研究中的数据集质量提升提供指导方针。

提出的方法

• 本文对现有英语CWI数据集进行了对比分析。
• 评估了数据集特征，如词汇频率、词性分布及复杂性标注标准。
• 研究了不同数据集中复杂性标注的标注者间一致性与一致性。
• 探讨了数据集中词汇复杂性与目标读者群体之间的匹配程度。
• 分析了影响复杂性判断的语言学与人口统计因素。
• 方法为定性与对比性研究，聚焦于数据集层面的属性，而非模型训练。

实验结果

研究问题

• RQ1 现有英语CWI数据集的关键语言学与人口统计属性是什么？
• RQ2 不同数据集与标注者之间复杂性标注的一致性如何？
• RQ3 当前数据集在多大程度上反映了特定目标人群的复杂性判断？
• RQ4 数据集设计中的主要局限性是什么，这些局限如何影响CWI模型性能？
• RQ5 如何改进数据集质量以支持更准确的词汇复杂性预测？

主要发现

• 现有CWI数据集在标注标准与目标人群定义方面存在显著差异。
• 词汇复杂性标注的标注者间一致性通常较低，表明标注实践存在不一致。
• 许多数据集缺乏对复杂性的明确定义，导致标注模糊或主观。
• 数据集中词类与频率的分布并不总能反映现实文本中的复杂性模式。
• CWI数据集缺乏标准化的评估协议，阻碍了模型间的比较。
• 数据集设计常忽视读者熟练程度与语境因素在复杂性感知中的作用。