[論文レビュー] Modeling of Item-Difficulty for Ontology-based MCQs

E Vinu, Tahani Alsubait+1 more|arXiv (Cornell University)|Jul 4, 2016

Semantic Web and Ontologies参考文献 14被引用数 6

ひとこと要約

本稿では、ドメインオントロジーから自動生成された選択肢付き記述式問題（MCQ）の難易度を予測するオントロジーに基づくモデルを提案する。エンティティの人気度、答えの選択肢の数、述語の深さといった要因を統合することで、本文と選択肢群の難易度スコアを推定し、それらを組み合わせて複合難易度スコアを算出する。項目反応理論（IRT）を用いた実証的検証により、多様な学習者習得度レベルにおいて、予測された難易度と実際の難易度レベルの間に高い相関（r ≈ 0.92）が確認された。

ABSTRACT

Multiple choice questions (MCQs) that can be generated from a domain ontology can significantly reduce human effort & time required for authoring & administering assessments in an e-Learning environment. Even though here are various methods for generating MCQs from ontologies, methods for determining the difficulty-levels of such MCQs are less explored. In this paper, we study various aspects and factors that are involved in determining the difficulty-score of an MCQ, and propose an ontology-based model for the prediction. This model characterizes the difficulty values associated with the stem and choice set of the MCQs, and describes a measure which combines both the scores. Further more, the notion of assigning difficultly-scores based on the skill level of the test taker is utilized for predicating difficulty-score of a stem. We studied the effectiveness of the predicted difficulty-scores with the help of a psychometric model from the Item Response Theory, by involving real-students and domain experts. Our results show that, the predicated difficulty-levels of the MCQs are having high correlation with their actual difficulty-levels.

研究の動機と目的

• eラーニングシステムにおける教育的有用性が制限される、オントロジーから生成されたMCQの難易度を推定する自動手法の不足に対処すること。
• オントロジーの構造的・意味的特徴に基づいて、項目難易度を定量的に評価する予測モデルを開発すること。
• 学習者習得度レベルを難易度推定に組み込み、適応型評価を可能にすること。
• 心理測定モデルを用いて、予測された難易度スコアと実際の成績の間の整合性を検証すること。
• 形式的オントロジーから教育的効果の高いMCQを信頼性高く自動生成するための、実用的で自動化された手法を提供すること。

提案手法

• モデルは、質問本文に使用される述語の階層的深さと、オントロジー内エンティティの人気度に基づいて、本文難易度スコアを計算する。
• 選択肢群の難易度スコアは、クラスに属するインスタンス数（答えの選択肢の数）に基づいて算出される。
• 重み付き集約関数を用いて、本文難易度スコアと選択肢群難易度スコアを組み合わせ、複合難易度スコアを導出する。
• 学習者習得度に応じて、初心者、中級者、熟練者を想定した予想成績に基づいて、難易度推定値を調整する。
• 予測スコアの妥当性は、項目反応理論（IRT）を用いて評価され、特に3つの学習者習得度グループにおける正答確率の分析が行われた。
• 実証的検証では、生成されたMCQを実際に学生と専門家に提示し、予測された難易度と観察された正答確率の相関を分析した。

実験結果

リサーチクエスチョン

• RQ1 オントロジーの構造的・意味的特徴を用いて、オントロジーから生成されたMCQの難易度をどのように予測できるか？
• RQ2 提案されたモデルは、実際の学習者成績によって測定された難易度とどの程度相関するか？
• RQ3 学習者習得度は、問題の認識難易度にどのように影響するか。また、その影響を効果的にモデル化できるか？
• RQ4 モデルは、高難易度・中難易度・低難易度の項目を十分な精度で区別できるか？
• RQ5 答えの選択肢の数やエンティティの人気度といった要因の中で、オントロジーに基づくMCQの項目難易度に最も顕著に影響を与える要因は何か？

主な発見

• 24個のMCQについて、項目反応理論分析で得られた実際の難易度レベルと予測された難易度スコアの間に高い相関（r ≈ 0.92）が確認された。
• 低習得度の学習者が正答率が非常に低い（例：低習得者でP < 0.1）場合に、高難易度の項目を正確に予測できた。
• 非常に大きな答えの選択肢を持つ項目は、予測上は簡単であるとされたが、専門家による正答率の高さと一致する実証的結果と整合した。
• 高習得度の学習者が90％以上の確率で正答した場合には、中難易度および低難易度の項目を正しく特定できた。
• 異なる学習者グループにおいても予測スコアは一貫しており、安定した難易度推定を示すαi値が得られた。
• 現在のスコア関数に限界が見られ、特に答えの選択肢が極めて少ないまたは極めて多い場合に問題があることが判明し、さらなる洗練の必要性が示唆された。