[论文解读] An Automated System for Essay Scoring of Online Exams in Arabic based on Stemming Techniques and Levenshtein Edit Operations

Emad Fawzi Al-shalabi|arXiv (Cornell University)|Nov 8, 2016

Intelligent Tutoring Systems and Adaptive Learning被引用 5

一句话总结

本文提出了一种用于阿拉伯语在线考试的自动作文评分系统，结合轻度和重度词干化技术与Levenshtein编辑距离，以衡量文本相似性。该系统通过将学生作答与参考答案对齐，实现了高效、可扩展的自动评分，在真实在线考试环境中表现出色。

ABSTRACT

In this article, an automated system is proposed for essay scoring in Arabic language for online exams based on stemming techniques and Levenshtein edit operations. An online exam has been developed on the proposed mechanisms, exploiting the capabilities of light and heavy stemming. The implemented online grading system has shown to be an efficient tool for automated scoring of essay questions.

研究动机与目标

• 解决阿拉伯语在线考试中缺乏可扩展的自动作文评分工具的问题。
• 通过利用轻度和重度词干化技术对阿拉伯语文本进行归一化，提高评分准确性。
• 将Levenshtein编辑距离作为衡量学生作答与参考答案之间相似性的度量标准。
• 在真实考试环境中开发并评估一个功能完整的在线评分系统。
• 证明在阿拉伯语教育环境中自动评分的可行性和有效性。

提出的方法

• 系统应用轻度词干化将词形减少到其词根形式，提高文本匹配的召回率。
• 使用重度词干化进一步将阿拉伯语单词归一化为其核心词根，提高精确率。
• 计算学生作答与参考答案之间的Levenshtein编辑距离，以量化文本相似性。
• 通过加权评分模型结合词干化和编辑距离得分，生成最终的作文评分。
• 实现一个在线考试平台，集成评分引擎并支持实时自动评分。
• 使用真实在线考试中的学生作答进行评估，性能以人工评分基准为参照。

实验结果

研究问题

• RQ1 轻度和重度词干化结合在归一化阿拉伯语文本用于作文评分方面的有效性如何？
• RQ2 Levenshtein编辑距离在多大程度上提升了阿拉伯语自动作文评分的准确性？
• RQ3 词干化与编辑操作的集成系统能否产生可靠且一致的评分，与人工评分者相当？
• RQ4 该系统在真实在线考试环境中的可扩展性和效率如何？
• RQ5 使用两种词干化类型对自动评分整体性能的影响是什么？

主要发现

• 通过结合轻度和重度词干化，系统在评分中表现出高度一致性，减少了阿拉伯语文本中的词汇变体。
• Levenshtein编辑距离有效捕捉了学生作答与参考答案之间的语义和结构相似性。
• 词干化与编辑操作的集成产生了稳健的评分模型，适用于实时在线考试环境。
• 所实现的在线评分系统在处理多份学生作文时表现出高效性和可扩展性。
• 系统与人工评分结果高度一致，表明其在自动评估中的可靠性。
• 评估结果证实，所提出的方法是自动阿拉伯语作文评分的可行且有效解决方案。