[論文レビュー] Automatic Short -Answer Grading System (ASAGS)

P. Selvi, A. K. Bnerjee|arXiv (Cornell University)|Nov 8, 2010

Topic Modeling参考文献 4被引用数 5

ひとこと要約

本稿では、語彙的アプローチを凌駕するgraded accuracyを向上させるために、意味的類似性とオントロジー基盤のマッチングを利用する自動短答採点システム（ASAGS）を提案する。意味的分析と統計的手法を統合することで、ベンチマークデータセット上でベクトルベースの類似度測定手法よりも最大59%高い性能を達成する。

ABSTRACT

Automatic assessment needs short answer based evaluation and automated assessment. Various techniques used are Ontology, Semantic similarity matching and Statistical methods. An automatic short answer assessment system is attempted in this paper. Through experiments performed on a data set, we show that the semantic ASAGS outperforms methods based on simple lexical matching; resulting is up to 59 percent with respect to the traditional vector-based similarity metric.

研究の動機と目的

• 教育現場における短答回答の自動採点システムの開発を目的とする。
• 従来の語彙的マッチング手法を超えて採点精度を向上させることを目的とする。
• 短答評価における意味的類似性およびオントロジー基盤の手法の有効性を評価することを目的とする。
• 従来のベクトルベースの類似度測定手法と比較して、意味的ASAGSの性能を評価することを目的とする。
• 意味的技術を用いたスケーラブルで正確な自動採点の実現可能性を示すこと。

提案手法

• システムは、学生の回答を基準回答と一致させるためにオントロジー基盤の意味的マッチングを採用する。
• 意味的類似度測定を用いて、回答と正解との間の概念的整合性を評価する。
• 類似度スコアの精錬と耐性の向上のために統計的手法を統合する。
• モデルの学習および評価に、短答回答のデータセットを用いる。
• 語彙的、構文的、意味的特徴の組み合わせを用いて類似度スコアを計算する。
• 従来のベクトル空間モデル類似度測定手法と比較して性能をベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 語彙的マッチングと比較して、意味的類似度技術は自動短答採点の正確性を顕著に向上させることができるか？
• RQ2 オントロジー基盤のマッチングは、学生の回答における概念的同等性をどれほど効果的に捉えられるか？
• RQ3 意味的および統計的手法を組み合わせることで、採点性能はどの程度向上するか？
• RQ4 意味的ASAGSはベクトルベースの類似度測定手法に対して、どの程度のパフォーマンス向上を達成するか？
• RQ5 多様な短答回答タイプにわたり、結果はどの程度一貫性を示すか？

主な発見

• 意味的ASAGSは、従来のベクトルベースの類似度測定手法よりも最大59%高い採点精度を達成する。
• オントロジーと意味的類似度の統合により、回答の概念的正しさの検出が顕著に向上する。
• 語句の違いがあるにもかかわらず同等の回答を特定する能力が、明確に向上している。
• 統計的手法により類似度スコアが精錬され、信頼性と一貫性が向上する。
• 意味的分析が語彙的マッチングよりも短答評価においてより効果的であることが結果で確認された。
• 提案されたシステムは、ベースライン手法と比較して、より高い正確性（precision）と再現率（recall）を達成した。