[论文解读] Knowledge-Rich BERT Embeddings for Readability Assessment.

Joseph Marvin Imperial|arXiv (Cornell University)|Jun 15, 2021

Text Readability and Simplification参考文献 15被引用 2

一句话总结

本文提出一种结合手工设计语言特征的知识增强型 BERT 嵌入方法，通过联合学习提升可读性评估性能。该方法在英语和菲律宾语数据集上实现了最高 12.4% 的 F1 分数提升，并表明 BERT 嵌入可替代低资源语言中的特征工程。

ABSTRACT

Automatic readability assessment (ARA) is the task of evaluating the level of ease or difficulty of text documents for a target audience. For researchers, one of the many open problems in the field is to make such models trained for the task show efficacy even for low-resource languages. In this study, we propose an alternative way of utilizing the information-rich embeddings of BERT models through a joint-learning method combined with handcrafted linguistic features for readability assessment. Results show that the proposed method outperforms classical approaches in readability assessment using English and Filipino datasets, and obtaining as high as 12.4% increase in F1 performance. We also show that the knowledge encoded in BERT embeddings can be used as a substitute feature set for low-resource languages like Filipino with limited semantic and syntactic NLP tools to explicitly extract feature values for the task.

研究动机与目标

• 解决由于自然语言处理工具有限而导致的低资源语言可读性评估挑战。
• 探究 BERT 嵌入是否可作为可读性建模中手工设计语言特征的替代方案。
• 通过联合学习 BERT 与语言特征，提升可读性评估中的 F1 性能，超越传统方法。
• 证明在特征提取困难的低资源环境下，知识增强型 BERT 嵌入的有效性。
• 在高资源（英语）和低资源（菲律宾语）语言上评估该方法，以验证其泛化能力。

提出的方法

• 将上下文相关的 BERT 嵌入作为可读性建模中丰富语言知识的来源。
• 将 BERT 嵌入与手工设计的语言特征（如句子长度、词频、句法复杂度）结合。
• 应用联合学习框架，联合训练 BERT 与语言特征，以提升表征学习效果。
• 在与可读性相关的下游任务上微调 BERT，以增强语义与句法相关性。
• 使用早停法与交叉验证，防止在小样本数据集上训练时过拟合。
• 在联合学习架构中采用多头注意力机制，动态加权 BERT 与语言特征的贡献。

实验结果

研究问题

• RQ1 与传统方法相比，知识增强型 BERT 嵌入是否能提升可读性评估性能？
• RQ2 在低资源语言中，BERT 嵌入在多大程度上可替代手工设计的语言特征？
• RQ3 联合学习 BERT 与语言特征是否能获得优于单独使用任一组件的 F1 分数？
• RQ4 该方法在菲律宾语等低资源语言上的有效性如何，这些语言的 NLP 工具有限？
• RQ5 在联合学习设置中，BERT 嵌入与语言特征的相对贡献是什么？

主要发现

• 与传统方法相比，所提方法在英语和菲律宾语可读性数据集上实现了最高 12.4% 的 F1 分数提升。
• 仅使用 BERT 嵌入作为特征集时表现具有竞争力，显著降低了在低资源环境下对复杂语言特征工程的需求。
• 联合学习框架有效整合了 BERT 表示与手工特征，提升了模型泛化能力。
• 该模型在菲律宾语（一种低资源语言）上表现优异，证明了可将 BERT 嵌入作为语言特征的代理。
• 该方法在不同语言间具有良好的泛化能力，表明 BERT 编码的知识可迁移至可读性任务。
• 消融实验证实，BERT 嵌入与语言特征均对最终性能有显著贡献，联合模型优于单一组件。