[論文レビュー] The end of multiple choice tests: using AI to enhance assessment

Michael W. Klymkowsky, Melanie M. Cooper|arXiv (Cornell University)|Jun 11, 2024

Artificial Intelligence in HealthcareHealth Professions被引用数 3

ひとこと要約

本論文では、学生の回答の背後にある説明をAIで分析することで、多肢選択式の評価を強化する手法を提案している。従来のMCテストでは誤解が明らかにならないという限界を補うもので、科学的概念に微調整されたAIボットを用いることで、誤解を特定し、実用的なフィードバックを提供する。プロトタイプ研究においては、AIで分析された説明が迅速かつ的確に、形態的評価データを提供することが実証された。

ABSTRACT

Effective teaching relies on knowing what students know-or think they know. Revealing student thinking is challenging. Often used because of their ease of grading, even the best multiple choice (MC) tests, those using research based distractors (wrong answers) are intrinsically limited in the insights they provide due to two factors. When distractors do not reflect student beliefs they can be ignored, increasing the likelihood that the correct answer will be chosen by chance. Moreover, making the correct choice does not guarantee that the student understands why it is correct. To address these limitations, we recommend asking students to explain why they chose their answer, and why "wrong" choices are wrong. Using a discipline-trained artificial intelligence-based bot it is possible to analyze their explanations, identifying the concepts and scientific principles that maybe missing or misapplied. The bot also makes suggestions for how instructors can use these data to better guide student thinking. In a small "proof of concept" study, we tested this approach using questions from the Biology Concepts Instrument (BCI). The result was rapid, informative, and provided actionable feedback on student thinking. It appears that the use of AI addresses the weaknesses of conventional MC test. It seems likely that incorporating AI-analyzed formative assessments will lead to improved overall learning outcomes.

研究の動機と目的

• 従来の多肢選択式テストが学生の誤解や理解度を明らかにできないという限界を是正すること。
• 正誤のみでなく、学生の思考過程を捉えることのできるスケーラブルな形態的評価手法の開発。
• AIを活用して学生の説明を分析し、概念的理解の欠落を特定すること。
• 学生の思考パターンに基づいたインstructer向けの実用的フィードバックの提供。
• 教育現場におけるAI強化型MC評価の実現可能性と価値を実証すること。

提案手法

• 学生は複数選択肢のうち一つを選択し、その理由と、誤った選択肢がなぜ誤りであるのかも説明する。
• 分野特化した科学的コンテンツで微調整されたAIベースのボットが、説明の概念的正確性と思考パターンを分析する。
• AIは欠落しているまたは誤って適用された科学的原則を特定し、自然言語処理を用いて誤解を分類する。
• システムは、一般的な誤解や学習ギャップに関する教員向けの構造化されたフィードバックを生成する。
• 検証のためのテストベッドとして、生物学的コンセプトインSTRUMENT（BCI）が使用された。
• 結果は集約され、クラス全体の学生の思考状況をリアルタイムで把握するためのインサイトを教員に提供する。

実験結果

リサーチクエスチョン

• RQ1 AIは多肢選択式の回答に関する学生の説明を的確に分析し、誤解を特定できるか？
• RQ2 説明の分析を組み込むことで、多肢選択式評価の診断的価値が向上するか？
• RQ3 AIが生成するフィードバックは、教員が特定の概念的誤解をより効果的に特定・対処するのを助けるか？
• RQ4 教室環境において、AIは学生の説明をどれほど迅速かつ信頼性高く処理できるか？
• RQ5 この手法は、従来のMCテストに比べて、形態的評価をどの程度向上させるか？

主な発見

• AIベースの学生の説明分析により、正誤スコアだけでは検出できない誤解や概念的ギャップを効果的に特定できた。
• システムは迅速かつ実用的なフィードバックを教員に提供し、的確な指導的介入を可能にした。
• プロトタイプ研究において、従来のMCテストでは見逃されがちな、洗練された思考パターンが明らかになった。
• 誤った選択肢がなぜ誤りであるかの説明が、誤解を診断するうえで特に有用であった。
• AIの統合により、多肢選択式評価の診断的パワーが向上したが、スケーラビリティは損なわれなかった。
• 結果から、AIで分析された形態的評価は、早期に誤解を是正することで学習効果の向上に寄与する可能性がある。