[論文レビュー] Development and Evaluation of a Personalized Computer-aided Question Generation for English Learners to Improve Proficiency and Correct Mistakes

Yi-Ting Huang, Meng Chang Chen+1 more|arXiv (Cornell University)|Aug 29, 2018

Educational Technology and Assessment参考文献 31被引用数 5

ひとこと要約

本論文は、英語学習者向けに、個人の習得度と誤りパターンに基づいて質問の難易度と種別（語彙、文法、読解）を調整するパーソナライズドコンピュータ支援質問生成システムを提示する。結果は、標準的な自動質問生成と比較して、パーソナライズドシステムを使用した学生がより頻繁に誤りを是正し、より難しい質問を正しく回答したことを示している。

ABSTRACT

In the last several years, the field of computer assisted language learning has increasingly focused on computer aided question generation. However, this approach often provides test takers with an exhaustive amount of questions that are not designed for any specific testing purpose. In this work, we present a personalized computer aided question generation that generates multiple choice questions at various difficulty levels and types, including vocabulary, grammar and reading comprehension. In order to improve the weaknesses of test takers, it selects questions depending on an estimated proficiency level and unclear concepts behind incorrect responses. This results show that the students with the personalized automatic quiz generation corrected their mistakes more frequently than ones only with computer aided question generation. Moreover, students demonstrated the most progress between the pretest and post test and correctly answered more difficult questions. Finally, we investigated the personalizing strategy and found that a student could make a significant progress if the proposed system offered the vocabulary questions at the same level of his or her proficiency level, and if the grammar and reading comprehension questions were at a level lower than his or her proficiency level.

研究の動機と目的

• コンピュータ支援言語学習における一般的で一様な質問生成の限界に対処する。
• 個人の習得度と誤解を踏まえた質問のカスタマイズにより、学習成果を向上させる。
• パーソナライズド質問生成が誤り是正と難易度の高い問題への対応にどのように寄与するかを調査する。
• 学習者の誤りとスキルレベルに基づく適応的質問選択の有効性を評価する。
• 学習の向上を最大化するための、異なる質問種別における最適な難易度レベルを特定する。

提案手法

• システムは語彙、文法、読解の3種類の選択肢式質問を生成する。
• 診断的プリテストを用いて学習者の習得度を推定し、誤った回答を分析して概念的誤解を特定する。
• 学習者の推定された習得度と誤りパターンに基づいて質問を選択し、語彙問題は同じ難易度、文法・読解問題はわずかに低い難易度とする。
• 学習者の現在の能力に応じて適応的難易度スケーリングを実施し、質問が難しすぎず、簡単すぎないよう保証する。
• 各学習者に対して、弱みを補強し、適切な挑戦性を維持することで関与を保つパーソナライズドのクイズが生成される。
• パーソナライズドと非パーソナライズドの質問生成を比較する前後テスト設計により、システムを評価した。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズド質問生成は、標準的なコンピュータ支援質問生成と比較して、誤り是正の向上に寄与するか？
• RQ2 質問の難易度が語彙、文法、読解における学習の向上にどのように影響するか？
• RQ3 誤り分析による誤解のターゲティングは、長期的な記憶保持と成績向上に寄与するか？
• RQ4 学習の進捗を最大化するための、異なる質問種別における最適な難易度レベルは何か？
• RQ5 パーソナライズド質問生成により、学習者が後測定でより難しい質問を正しく回答できるようになるか？

主な発見

• パーソナライズドシステムを使用した学生は、標準的なコンピュータ支援質問生成を使用した学生と比較して、誤りをはるかに頻繁に是正した。
• パーソナライズドシステムを使用した学習者が、プリテストとポストテストの間で最も顕著な改善を示した。
• パーソナライズドシステムは、非パーソナライズドのベースラインと比較して、ポストテストでより難しい質問を正しく回答するのを支援した。
• 学習者の現在の習得度に合った語彙問題が、最も顕著な進歩をもたらした。
• 学習者の習得度より低い難易度の文法および読解問題が、改善に最も効果的であった。
• 誤りパターンと習得度推定に基づく本システムのパーソナライズ戦略は、学習成果を顕著に向上させた。