[論文レビュー] R2DE: a NLP approach to estimating IRT parameters of newly generated questions

Luca Benedetto, Andrea Cappelli+2 more|arXiv (Cornell University)|Jan 21, 2020

Educational Technology and Assessment参考文献 28被引用数 11

ひとこと要約

R2DEは、新しく生成された選択肢付きの設問のテキストとその選択肢のみを用いて、項目反応理論（IRT）のパラメータ（難易度と識別力）を推定する、新しいNLPベースのモデルである。大規模なeラーニングデータセットを用いた評価において、R2DEは難易度の平均絶対誤差（MAE）が0.639、識別力のMAEが0.329を達成し、正確なパフォーマンス予測を可能にするとともに、高価な事前テストや主観的な専門家評価への依存を軽減する。

ABSTRACT

The main objective of exams consists in performing an assessment of students' expertise on a specific subject. Such expertise, also referred to as skill or knowledge level, can then be leveraged in different ways (e.g., to assign a grade to the students, to understand whether a student might need some support, etc.). Similarly, the questions appearing in the exams have to be assessed in some way before being used to evaluate students. Standard approaches to questions' assessment are either subjective (e.g., assessment by human experts) or introduce a long delay in the process of question generation (e.g., pretesting with real students). In this work we introduce R2DE (which is a Regressor for Difficulty and Discrimination Estimation), a model capable of assessing newly generated multiple-choice questions by looking at the text of the question and the text of the possible choices. In particular, it can estimate the difficulty and the discrimination of each question, as they are defined in Item Response Theory. We also present the results of extensive experiments we carried out on a real world large scale dataset coming from an e-learning platform, showing that our model can be used to perform an initial assessment of newly created questions and ease some of the problems that arise in question generation.

研究の動機と目的

• 事前テストを伴わずに新規に作成された設問のIRTパラメータを推定することで、教育的評価におけるコールドスタート問題に対処すること。
• コンテンツ作成者に対して、推定された難易度と識別力を用いて設問の質に関する即時のフィードバックを提供すること。
• 従来の事前テストや専門家によるキャリブレーションに伴う開発コストと遅延を低減すること。
• NLPを活用して、高品質な教育的評価の効率的かつスケーラブルな生成を可能にすること。
• 新しい設問のための信頼性のある潜在的特徴推定を提供することで、知識トレーシングを支援し、学生のパフォーマンス予測を改善すること。

提案手法

• R2DEは、設問のテキストと選択肢を入力として、IRTの難易度と識別力パラメータを予測する教師あり回帰モデルを採用する。
• モデルは、設問および誤り選択肢（だまし選択肢）のテキスト特徴をNLP技術で符号化し、項目特性に関連する意味的・構文的パターンを捉える。
• 大規模な実世界のeラーニングプラットフォームのデータセットを活用して、テキスト特徴とIRTパラメータの関係を学習する。
• 難易度と識別力の両方の推定に、平均絶対誤差（MAE）損失関数を用いてモデルを訓練する。
• 下流の知識トレーシングタスクを用いて性能を評価し、IRTで推定された潜在的特徴と比較して予測精度を検証する。
• このアプローチにより、設問の質を早期に評価でき、デプロイ前における項目の改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 NLP技術を用いて、設問のテキストのみを用いて、新規に生成された選択肢付き設問の難易度を正確に推定できるか？
• RQ2 NLPモデルは、学力の異なる生徒を区別できる能力を測る識別力パラメータについても推定可能か？
• RQ3 設問のテキストから推定されたIRTパラメータの性能は、生徒の回答データから得られるゴールドスタンダードのIRT推定値と比べてどの程度の精度か？
• RQ4 R2DEは、ベースライン推定手法と比較して、知識トレーシングにおけるパフォーマンス予測をどの程度改善できるか？
• RQ5 R2DEは、信頼性の高い初期の項目パラメータ推定を提供することで、事前テストの必要性を低減できるか？

主な発見

• R2DEは、難易度推定において平均絶対誤差（MAE）0.639を達成し、これはデータセット全体の難易度範囲の6.39％に相当する。
• 識別力推定においては、MAEが0.329に達し、全体の識別力範囲の9.4％に相当する。
• R2DEは、IRTで推定された潜在的特徴を用いた上限性能と比較して、学生の試験結果予測の正確性がわずか1.57％低いにとどまる。
• R2DEは、項目固有の情報が欠落しているため、性能が著しく低い多数派ベースラインを著しく上回る。
• R2DEは、識別力が低いか、的を外した設問を早期に特定でき、デプロイ後の削除の必要性を低減する。
• 結果から、R2DEは教育的評価のパイプラインにおいて、高価な事前テストや主観的な専門家キャリブレーションへの依存を軽減できる可能性があると示唆される。