[論文レビュー] Bridging the Novice-Expert Gap via Models of Decision-Making: A Case Study on Remediating Math Mistakes

Rose E. Wang, Qingyang Zhang+3 more|arXiv (Cornell University)|Oct 16, 2023

Mathematics Education and Teaching Techniques被引用数 4

ひとこと要約

本稿では、熟練した数学チューターの意思決定を3つのタスクに分解するReMathというベンチマークを紹介する。すなわち、誤りの種別特定（Task A）、是正戦略選定（Task B）、応答生成（Task C）である。大規模言語モデル（LLM）を用いた評価において、誤りの種別と是正戦略を提供することで、ベースラインに比べて応答品質が75%向上したが、依然として熟練教師の水準には達していない。これは、チューティング分野における人間とAIの協働の必要性を示している。

ABSTRACT

Scaling high-quality tutoring remains a major challenge in education. Due to growing demand, many platforms employ novice tutors who, unlike experienced educators, struggle to address student mistakes and thus fail to seize prime learning opportunities. Our work explores the potential of large language models (LLMs) to close the novice-expert knowledge gap in remediating math mistakes. We contribute Bridge, a method that uses cognitive task analysis to translate an expert's latent thought process into a decision-making model for remediation. This involves an expert identifying (A) the student's error, (B) a remediation strategy, and (C) their intention before generating a response. We construct a dataset of 700 real tutoring conversations, annotated by experts with their decisions. We evaluate state-of-the-art LLMs on our dataset and find that the expert's decision-making model is critical for LLMs to close the gap: responses from GPT4 with expert decisions (e.g., "simplify the problem") are +76% more preferred than without. Additionally, context-sensitive decisions are critical to closing pedagogical gaps: random decisions decrease GPT4's response quality by -97% than expert decisions. Our work shows the potential of embedding expert thought processes in LLM generations to enhance their capability to bridge novice-expert knowledge gaps. Our dataset and code can be found at: \url{https://github.com/rosewang2008/bridge}.

研究の動機と目的

• 高品質な数学チューティングのスケーラビリティ課題に対処し、初心者チューターをAI支援で支援すること。
• 現在のLLMが、教育的推論を含め、学生の数学的誤りを効果的に是正できる能力に欠けているという重要なギャップを特定すること。
• 熟練した意思決定プロセスをモデル化する構造的フレームワークを構築し、より良いAIチューティング支援を実現すること。
• 応答品質と教育的感受性に注目し、LLMが現実世界のチューティングシナリオにおいて熟練教師と比較してどのように機能するかを評価すること。
• LLMに誤りの種別と是正戦略を提供することで、その是正応答の品質が顕著に向上することを実証するが、熟練レベルには至らないこと。

提案手法

• 熟練した数学教師と共同でReMathを開発し、是正プロセスを3つの明確なタスクに分解した：誤りの種別特定（Task A）、戦略選定（Task B）、応答生成（Task C）。
• Title I学校の1年生から5年生までの数学チューティング対話データセットを構築し、各例について2名の熟練教師が誤りの種別と戦略をアノテートした。
• 最先端の指令微調整済みおよび対話用LLM（例：GPT-4、Flan-T5、GODEL）を、自動評価指標と人間評価を用いてReMathベンチマークで評価した。
• 階層的プロンプト戦略を適用：まず誤りの種別と戦略をプロンプトし、その後それらを統合して最終的な応答を生成することで、構造的ガイダンスの影響を評価した。
• 自動評価指標（ROUGE、BLEU、Self-BLEU、エントロピー）と人間のアノテーション（好み、有用性、配慮、機械的さ）を用いて、応答品質を評価した。
• 4つの条件でのモデル出力を比較した：制約なし、誤りの種別（e）の提供、戦略（z）の提供、両方（e,z）の提供。これにより、構造的入力の影響を分離した。

Figure 1: Illustration of the ReMath benchmark. The left handside shows the original tutor-student conversation on the lesson topic, rounding. The last message is the student’s mistake that should be remediated. The right handside shows the original tutor’s response and the math teacher’s step-by-st

実験結果

リサーチクエスチョン

• RQ1 LLMは、学生の数学的誤りを是正する際に、元の初心者チューターの応答を上回ることができるか、その程度はいかほどか？
• RQ2 LLMに誤りの種別と是正戦略の情報を提供することで、その応答品質にどのような影響を与えるか？
• RQ3 教育的質、共感性、正確性の観点から、LLMが生成する応答は熟練教師の応答と比べてどの程度か？
• RQ4 誤りの種別と戦略の組み合わせた構造的プロンプトは、チューティングタスクにおけるモデルパフォーマンス向上にどのような役割を果たすか？
• RQ5 現在のLLMは単独で数学的誤り是正において熟練教師並みの品質に到達できるか、それとも人間が関与する（人間がループ内に参加する）必要があるか？

主な発見

• LLMは一貫して、元の初心者チューターの応答よりも是正品質が優れており、GPT-4は（e,z）条件で人間の好みスコア0.95を達成した。
• 誤りの種別と戦略の両方を提供することで、人間の好みスコアで制約なし生成に比べて応答品質が75%向上した。
• 誤りの種別と戦略を完全に提供された状態でも、最高のモデル（GPT-4）の応答は熟練教師の応答に及ばず、熟練教師は好みスコア1.26を記録した。
• 誤りの種別と戦略の組み合わせは、応答の整合性と教育的関連性を顕著に向上させ、誤りの生成（ホールーシネーション）を低減し、学習目標との整合性を高めた。
• 人間評価では、構造的入力のないモデルはしばしば有用でなく、配慮に欠け、機械的である応答を生成することが判明した。GPT-4は制約なし設定で「配慮」次元で-0.04のスコアを記録した。
• 最高パフォーマンスを示したモデル（GPT-4 with e,z）はROUGE-Lスコア0.16、BLEUスコア0.02を達成し、やや高い流暢さと関連性を示したが、熟練教師のROUGE-L（0.91）には及ばなかった。

Figure 2: An example of how the tutor, a math teacher and gpt-4 models remediate this student’s mistake. The error used here is guess , and the strategy and intention are to “Provide a solution strategy” and “Help student understand the lessons topic or solution strategy.”