[论文解读] A Readable Read: Automatic Assessment of Language Learning Materials based on Linguistic Complexity

Ildikó Pilán, Sowmya Vajjala+1 more|arXiv (Cornell University)|Mar 29, 2016

Text Readability and Simplification被引用 7

一句话总结

本论文提出了一种监督式机器学习模型，用于在5级难度量表上自动评估瑞典语第二语言学习材料的语言复杂度，使用多种语言特征。该模型在文档级别达到81.3%的准确率，在句子级别达到63.4%的准确率，当结合多种特征类型时准确率提升7%，优于非英语语言领域的先前研究。

ABSTRACT

Corpora and web texts can become a rich language learning resource if we have a means of assessing whether they are linguistically appropriate for learners at a given proficiency level. In this paper, we aim at addressing this issue by presenting the first approach for predicting linguistic complexity for Swedish second language learning material on a 5-point scale. After showing that the traditional Swedish readability measure, Lasbarhetsindex (LIX), is not suitable for this task, we propose a supervised machine learning model, based on a range of linguistic features, that can reliably classify texts according to their difficulty level. Our model obtained an accuracy of 81.3% and an F-score of 0.8, which is comparable to the state of the art in English and is considerably higher than previously reported results for other languages. We further studied the utility of our features with single sentences instead of full texts since sentences are a common linguistic unit in language learning exercises. We trained a separate model on sentence-level data with five classes, which yielded 63.4% accuracy. Although this is lower than the document level performance, we achieved an adjacent accuracy of 92%. Furthermore, we found that using a combination of different features, compared to using lexical features alone, resulted in 7% improvement in classification accuracy at the sentence level, whereas at the document level, lexical features were more dominant. Our models are intended for use in a freely accessible web-based language learning platform for the automatic generation of exercises.

研究动机与目标

• 开发一种可靠的方法，用于评估瑞典语第二语言学习材料的语言复杂度。
• 解决传统LIX可读性度量在语言学习情境下的局限性。
• 构建一个将文本分类为五个适合语言学习平台的难度等级的模型。
• 评估语言特征在文档级别和句子级别对复杂度预测的表现。
• 通过一个免费的基于网络的平台，支持语言学习练习的自动化生成。

提出的方法

• 使用一系列语言特征（包括词汇、句法和结构指标）训练监督式机器学习模型，以捕捉文本复杂度。
• 在一组标注了5级难度等级的瑞典语第二语言文本数据集上训练和评估模型。
• 特征工程包括词频、句子长度、从句复杂度和词汇多样性度量，以捕捉语言难度。
• 在文档级别（完整文本）和句子级别（单个句子）对模型进行评估，以衡量其在不同语言单元上的可扩展性。
• 比较仅使用词汇特征的模型与结合多种特征类型的模型，以评估特征的有效性。
• 最终模型设计用于集成到基于网络的语言学习平台中，以实现自动练习生成。

实验结果

研究问题

• RQ1 机器学习模型能否可靠地在5级难度量表上预测瑞典语第二语言文本的语言复杂度？
• RQ2 在分类完整文本与单个句子时，模型的性能有何差异？
• RQ3 不同类型的语言特征（如词汇特征与句法特征）在多大程度上贡献于分类准确率？
• RQ4 结合多种特征类型是否比仅依赖词汇特征更有效于复杂度预测？
• RQ5 在第二语言学习材料的语境下，所提出的模型与现有可读性度量（如LIX）相比表现如何？

主要发现

• 所提出的机器学习模型在文档级别对瑞典语第二语言文本进行五级难度分类时，准确率达到81.3%。
• 模型的F-score为0.8，表明性能强劲，与英语领域的最先进结果相当，且优于其他语言的先前研究结果。
• 在句子级别，模型准确率达到63.4%，相邻准确率达到92%，表明其在上下文预测方面表现优异。
• 在句子级别，结合多种特征类型使分类准确率提升了7%；而在文档级别，词汇特征的影响最为显著。
• 传统LIX可读性度量被发现不适用于分类第二语言学习材料，凸显了对更细致复杂度评估方法的需求。