[论文解读] Diverse Linguistic Features for Assessing Reading Difficulty of Educational Filipino Texts

Joseph Marvin Imperial, Ethel Ong|arXiv (Cornell University)|Jul 31, 2021

Text Readability and Simplification参考文献 16被引用 5

一句话总结

本文提出了一种机器学习方法，通过使用包括传统和音节模式特征在内的多种语言学特征，评估教育类菲律宾语文本的阅读难度。使用最优特征组合的随机森林模型达到了66.1%的准确率，表明将音系学和句法特征整合起来对菲律宾语可读性评估具有显著效果。

ABSTRACT

In order to ensure quality and effective learning, fluency, and comprehension, the proper identification of the difficulty levels of reading materials should be observed. In this paper, we describe the development of automatic machine learning-based readability assessment models for educational Filipino texts using the most diverse set of linguistic features for the language. Results show that using a Random Forest model obtained a high performance of 62.7% in terms of accuracy, and 66.1% when using the optimal combination of feature sets consisting of traditional and syllable pattern-based predictors.

研究动机与目标

• 开发一种自动化的菲律宾语教育文本可读性评估系统，以支持有效学习和理解。
• 识别并整合广泛的语言学特征——包括传统特征和音节模式特征——这些特征与菲律宾语阅读难度相关。
• 评估使用这些多样化特征的机器学习模型在预测文本难度等级方面的性能。
• 确定能最大化菲律宾语可读性预测准确率的语言学特征最优组合。

提出的方法

• 本研究采用了一组经过可读性等级标注的菲律宾语教育文本数据集。
• 提取了全面的语言学特征集合，包括句法、词汇和音系学指标，如句子长度、词汇频率和音节模式。
• 将传统可读性特征（如平均句子长度、词汇难度）与基于菲律宾语音系学规则派生的新颖音节模式特征相结合。
• 使用特征集训练随机森林分类器以预测可读性等级，并通过超参数调优优化性能。
• 通过准确率和交叉验证评估模型性能，以确保鲁棒性。
• 通过消融实验和特征重要性分析确定最优特征组合。

实验结果

研究问题

• RQ1 哪种语言学特征组合在预测菲律宾语教育文本阅读难度时能取得最高准确率？
• RQ2 与传统可读性特征相比，音节模式特征在预测菲律宾语文本难度方面表现如何？
• RQ3 机器学习模型能否有效利用多样化语言学预测因子对菲律宾语文本的可读性等级进行分类？
• RQ4 音系学和词形句法特征对菲律宾语可读性评估的贡献是什么？

主要发现

• 仅使用传统语言学特征的随机森林模型准确率为62.7%。
• 传统特征与音节模式特征的最优组合将准确率提升至66.1%。
• 音节模式特征对模型预测性能有显著贡献，表明其对菲律宾语可读性具有相关性。
• 特征重要性分析显示，句子长度和词汇频率是最具影响力的预测因子之一。
• 音系学特征的整合使模型性能优于仅使用传统指标的情况。
• 本研究证明，多样化语言学特征，尤其是捕捉菲律宾语音系结构的特征，对可读性建模具有显著效果。