[論文レビュー] An Automated System for Essay Scoring of Online Exams in Arabic based on Stemming Techniques and Levenshtein Edit Operations

Emad Fawzi Al-shalabi|arXiv (Cornell University)|Nov 8, 2016

Intelligent Tutoring Systems and Adaptive Learning被引用数 5

ひとこと要約

本論文では、軽量および重い stemming 機械学習手法を組み合わせ、Levenshtein 編集距離を用いてテキスト類似度を測定することで、アラビア語オンライン試験用の自動エッセイ採点システムを提案する。このシステムは、学生の回答と基準的回答を一致させることで、実世界のオンライン試験環境において、効率的かつスケーラブルな自動採点を実現し、優れた性能を示している。

ABSTRACT

In this article, an automated system is proposed for essay scoring in Arabic language for online exams based on stemming techniques and Levenshtein edit operations. An online exam has been developed on the proposed mechanisms, exploiting the capabilities of light and heavy stemming. The implemented online grading system has shown to be an efficient tool for automated scoring of essay questions.

研究の動機と目的

• アラビア語オンライン試験用にスケーラブルで自動化されたエッセイ採点ツールが不足している問題に対処すること。
• アラビア語テキスト正規化に軽量および重い stemming 機械学習手法を活用することで、採点の正確性を向上させること。
• 学生の回答と基準的回答間の類似度を測定する指標として、Levenshtein 編集距離を統合すること。
• 実際の試験環境内で機能的なオンライン採点システムを開発および評価すること。
• アラビア語教育的文脈における自動採点の実現可能性と有効性を示すこと。

提案手法

• テキストマッチングの再現性を向上させるために、軽量 stemming を適用して語形を基本語根に短縮する。
• アラビア語語彙をさらに正規化し、コア語彙的語根にまで統一するために、重い stemming を用いる。
• 学生の回答と基準的回答との間で Levenshtein 編集距離を計算し、テキスト類似度を定量化する。
• stemming と編集距離スコアを重み付きスコアリングモデルで統合し、最終的なエッセイスコアを生成する。
• 採点エンジンを統合し、リアルタイムの自動採点を可能にするオンライン試験プラットフォームを実装する。
• 実際のオンライン試験における学生の回答を用いて評価し、人間による採点基準と比較して性能を測定する。

実験結果

リサーチクエスチョン

• RQ1 軽量および重い stemming の組み合わせは、エッセイ採点のためのアラビア語テキスト正規化において、どの程度効果的か？
• RQ2 Levenshtein 編集距離は、アラビア語の自動エッセイ採点の正確性をどの程度向上させるか？
• RQ3 stemming と編集操作を統合したシステムは、人間の採点者と同等の信頼性と一貫性を持つスコアを生成できるか？
• RQ4 本手法は、実際のオンライン試験環境において、どの程度スケーラブルで効率的か？
• RQ5 両方の stemming 形式を用いることで、自動採点の全体的なパフォーマンスにどのような影響を与えるか？

主な発見

• 軽量および重い stemming を活用することで、アラビア語テキスト内の語彙的ばらつきを低減し、採点の一貫性が著しく向上した。
• Levenshtein 編集距離は、学生の回答と基準的回答の間の意味的および構造的類似度を効果的に捉えた。
• stemming と編集操作の統合により、リアルタイムのオンライン試験環境に適した堅牢なスコアリングモデルが構築された。
• 実装されたオンライン採点システムは、多数の学生エッセイを処理する上で、効率性とスケーラビリティを示した。
• システムは人間による採点スコアと強く一致しており、自動評価の信頼性が裏付けられた。
• 評価結果から、提案手法がアラビア語エッセイ自動採点の実用的で効果的な解決策であることが確認された。