[論文レビュー] Automated Distractor and Feedback Generation for Math Multiple-choice Questions via In-context Learning

Hunter McNichols, Wanyong Feng+5 more|arXiv (Cornell University)|Aug 7, 2023

Educational Technology and Assessment被引用数 6

ひとこと要約

本稿では、大規模言語モデル（LLMs）を用いたコンテキスト内学習アプローチを提案し、数学の多肢選択問題（MCQ）の妥当な誤答選択肢と情報豊富なフィードバックメッセージを自動生成することを目的としている。参考なしメトリクスにおいては有望な結果を示したが、LLMsが指示を誤解したり正解をコピーしたりする問題により、教育的フィードバック生成における現在のLLMの能力に限界があることが浮き彫りになった。

ABSTRACT

Multiple-choice questions (MCQs) are ubiquitous in almost all levels of education since they are easy to administer, grade, and are a reliable form of assessment. An important aspect of MCQs is the distractors, i.e., incorrect options that are designed to target specific misconceptions or insufficient knowledge among students. To date, the task of crafting high-quality distractors has largely remained a labor-intensive process for teachers and learning content designers, which has limited scalability. In this work, we explore the task of automated distractor and corresponding feedback message generation in math MCQs using large language models. We establish a formulation of these two tasks and propose a simple, in-context learning-based solution. Moreover, we propose generative AI-based metrics for evaluating the quality of the feedback messages. We conduct extensive experiments on these tasks using a real-world MCQ dataset. Our findings suggest that there is a lot of room for improvement in automated distractor and feedback generation; based on these findings, we outline several directions for future work.

研究の動機と目的

• 数学の多肢選択問題（MCQ）の高品質な誤答選択肢およびフィードバックを手作業で作成する作業の負担を軽減すること。
• 大規模言語モデル（LLMs）を用いた数学MCQにおける自動誤答選択肢およびフィードバック生成の可能性を検討すること。
• 生成モデルを用いた参考なしメトリクスを新たに開発し、フィードバック品質を評価することで、基準文に依存する類似度メトリクスに起因するバイアスを低減すること。
• 教育的フィードバック生成において、LLMの行動に見られる制限要因（例：正解や誤答をコピーすること、フィードバックの指示を誤解すること）を同定すること。
• 複数のプロンプティング戦略と評価手法を用いた性能分析を通じて、今後の自動MCQ生成分野のベースラインを提供すること。

提案手法

• ターゲット質問と類似した意味的特徴（文の埋め込みを用いて）を持つ例を選び、少数の例を用いたコンテキスト内学習を実施する。
• 誤答選択肢生成を条件付き生成タスクとして定式化：問題文と正解を入力とし、一般的な誤解に基づいた説得力のある誤答選択肢を生成する。
• フィードバック生成を条件付きタスクとして定式化：問題文と特定の誤答選択肢を入力とし、誤りの原因を説明し、正しい答えに導くフィードバックメッセージを生成する。
• 生成モデルを用いて、基準文に依存しないフィードバックの有用性と情報量を評価する2つの新規な参考なしメトリクス（Adj. Pred. および Dist. Pred.）を導入する。
• 基準文に依存するメトリクス（例：BLEU, ROUGE）と新しい参考なしメトリクスを併用し、異なるプロンプティング手法におけるフィードバック品質を評価する。
• 学生の回答統計データを含む実世界の数学MCQデータセットを用い、定量的および定性的な分析を通じて、手法の性能と誤りパターンを評価する。

Figure 1: Different parts of math MCQs illustrated with an example.

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いたコンテキスト内学習は、学生の一般的な誤解を反映した妥当な誤答選択肢を、数学MCQに対して効果的に生成できるか？
• RQ2 LLMsは、正解や誤答選択肢をコピーせず、誤りを是正するのに役立つ情報豊富なフィードバックメッセージを生成できるか？
• RQ3 参考なしLLMベースのメトリクスは、標準的な基準文に依存するメトリクスと比較して、フィードバック品質の評価においてどう異なるか？また、基準文のスタイルに偏るバイアスは減少するか？
• RQ4 LLMのフィードバック生成における主な失敗モード（例：指示を誤解したり、役立たずな内容を生成したりする）は何か？また、それらは評価にどのように影響を与えるか？
• RQ5 ゼロショット、kNNを用いた少数の例、ランダムな例を用いた少数の例といった、異なるプロンプティング戦略の性能は、基準文ありおよび基準文なしの両方の評価メトリクスにおいて、どのように比較されるか？

主な発見

• kNNに基づくコンテキスト内学習手法（kNN^one）は、参考なしメトリクスにおいて他のプロンプティング戦略を上回り、高品質なフィードバックのスタイルと構造をよりよく捉えていると考えられる。
• ゼロショットプロンプティングは、基準文ありメトリクスで最高のスコアを記録したが、これは基準文のスタイルに類似する傾向があるためであり、しばしば正解や誤答選択肢をフィードバックに含むため、教育的価値が低下する傾向にあった。
• 参考なしメトリクスでは、各手法間の性能差が基準文ありメトリクスと比べて著しく小さく、後者のメトリクスがスタイルの類似度に偏っているのではなく、実際の有用性に重きを置かない傾向にあることを示唆している。
• 基準文のフィードバックは、すべての生成フィードバックを参考なしメトリクスで上回ったが、期待したほど大きな開きではなかったため、LLMが生成したフィードバックでさえ、制限はあるもののある程度有効である可能性がある。
• LLMがフィードバックの指示を誤解したり、文脈（例：選択肢が集合として提示される場合）を無視したりするため、誤検出（False negatives）が一般的であった。一方、誤検出（False positives）は、LLMが問題を独立に解釈したにもかかわらず、役立たずなフィードバックを生成した場合に発生した。
• 本研究は、GPT-4のような高度なLLMですら、一貫した指示の順守や誤りに特化したフィードバック生成に苦労していることを明らかにした。これは、プロンプト工学の改善や微調整の必要性を示唆している。

Figure 2: Overview of distractor generation with a math MCQ on “compound percentage decrease”.