[论文解读] ALEXSIS-PT: A New Resource for Portuguese Lexical Simplification

Kai North, Marcos Zampieri+1 more|arXiv (Cornell University)|Sep 19, 2022

Text Readability and Simplification被引用 5

一句话总结

本论文提出了 ALEXSIS-PT，这是首个从报纸文章中衍生的、大规模的、多候选词性简化（lexical simplification）数据集，专为巴西葡萄牙语设计，包含 9,605 个针对 387 个复杂词汇的排序替代词。BERTimbau 在所有评估指标中表现最佳，优于 mDistilBERT、mBERT 和 XLM-R，且词形还原显著提升了结果，凸显其在葡萄牙语简化系统中的重要性。

ABSTRACT

Lexical simplification (LS) is the task of automatically replacing complex words for easier ones making texts more accessible to various target populations (e.g. individuals with low literacy, individuals with learning disabilities, second language learners). To train and test models, LS systems usually require corpora that feature complex words in context along with their candidate substitutions. To continue improving the performance of LS systems we introduce ALEXSIS-PT, a novel multi-candidate dataset for Brazilian Portuguese LS containing 9,605 candidate substitutions for 387 complex words. ALEXSIS-PT has been compiled following the ALEXSIS protocol for Spanish opening exciting new avenues for cross-lingual models. ALEXSIS-PT is the first LS multi-candidate dataset that contains Brazilian newspaper articles. We evaluated four models for substitute generation on this dataset, namely mDistilBERT, mBERT, XLM-R, and BERTimbau. BERTimbau achieved the highest performance across all evaluation metrics.

研究动机与目标

• 为解决巴西葡萄牙语词性简化领域中缺乏通用领域、高覆盖率的多候选数据集的问题。
• 提供一个源自真实报纸文章的基准数据集，相较于儿童读物等领域特定语料，更具泛化能力。
• 在新的、更大规模的葡萄牙语 LS 数据集上，评估最先进多语言及单语言模型的性能。
• 探究词形还原对葡萄牙语替代词生成性能的影响。
• 通过 ALEXSIS-PT 和 ALEXSIS-ES 协议，为未来跨语言及多语言 LS 系统的开发提供支持。

提出的方法

• ALEXSIS-PT 的构建遵循用于西班牙语的 ALEXSIS 协议，确保一致性，并支持跨语言迁移。
• 该数据集包含来自巴西报纸文章的 387 个复杂词汇，每个词汇最多有 25 个排序的候选替代词。
• 五名标注员在上下文语境中为每个复杂词汇标注替代词，并根据感知的简单性和适当性进行排序。
• 对四种预训练 Transformer 模型——mDistilBERT、mBERT、XLM-R 和 BERTimbau——进行了微调并评估其替代词生成性能。
• 使用基于 SpaCy 的葡萄牙语词形还原器（在 Universal Dependencies 上训练）对预测结果和真实标签均应用了词形还原。
• 评估采用标准指标，包括 F1、精确率、召回率和平均加权频率排名（AWFR），并在不同数据集和模型间进行对比。

实验结果

研究问题

• RQ1 当在新的、更大规模且更具通用性的数据集 ALEXSIS-PT 上评估时，最先进模型在巴西葡萄牙语词性简化任务中的表现如何？
• RQ2 在单语巴西葡萄牙语数据上进行微调（如 BERTimbau）是否相比多语言模型（如 mBERT、XLM-R）在葡萄牙语词性简化任务中表现更优？
• RQ3 鉴于葡萄牙语具有丰富的屈折形态，词形还原在多大程度上能提升词性简化模型的性能？
• RQ4 模型在 ALEXSIS-PT 上的表现与在 SIMPLEX-PB 3.0 上的表现相比如何，尤其考虑到两者在领域和候选替代词数量上的差异？
• RQ5 ALEXSIS-PT 是否可作为训练和评估多语言及跨语言词性简化系统的可行基准？

主要发现

• BERTimbau 在词形还原后的测试集上取得了最高的 F1 分数 0.185，优于 mDistilBERT、mBERT 和 XLM-R 在所有指标上的表现。
• ALEXSIS-PT 中每个复杂词汇的平均候选替代词数量（22 个）显著高于 SIMPLEX-PB 3.0（5 个），从而提高了模型成功的机会。
• 所有模型在 ALEXSIS-PT 上的表现均优于在 SIMPLEX-PB 3.0 上的表现，仅 mDistilBERT 在 top-k=1 和 3 时例外，这可能是由于领域不匹配以及 SIMPLEX-PB 3.0 的候选词数量过少所致。
• 词形还原提升了所有模型的性能，BERTimbau 的 F1 分数提升了 0.002，表明形态归一化有助于提升替代词的选择质量。
• 词形还原后，BERTimbau 取得了最高的平均加权频率排名（AWFR）0.185，表明其预测结果与人工标注的替代词频率最为吻合。
• 结果表明，针对葡萄牙语数据进行单语微调（如 BERTimbau）在葡萄牙语词性简化任务中表现优于多语言模型。