[論文レビュー] Contextualizing Problems to Student Interests at Scale in Intelligent Tutoring System Using Large Language Models

Gautam Ganapati Yadav, Ying-Jui Tseng+1 more|arXiv (Cornell University)|May 31, 2023

Text Readability and Simplification被引用数 6

ひとこと要約

本論文では、GPT-4を用いて、インテリジェントチューティングシステム（CTAT）において、学生の関心に合わせた文脈化を自動化する手法を提案している。繰り返しのプロンプト工学を用いることで、問題の難易度や元の意図を損なわず、スケールアップ可能な形で文脈化を実現している。この手法により、値の変更や不要な複雑化を加えずに、大量生産が可能なパーソナライズド問題が生成可能となり、参加意欲の向上が著しく期待できる。

ABSTRACT

Contextualizing problems to align with student interests can significantly improve learning outcomes. However, this task often presents scalability challenges due to resource and time constraints. Recent advancements in Large Language Models (LLMs) like GPT-4 offer potential solutions to these issues. This study explores the ability of GPT-4 in the contextualization of problems within CTAT, an intelligent tutoring system, aiming to increase student engagement and enhance learning outcomes. Through iterative prompt engineering, we achieved meaningful contextualization that preserved the difficulty and original intent of the problem, thereby not altering values or overcomplicating the questions. While our research highlights the potential of LLMs in educational settings, we acknowledge current limitations, particularly with geometry problems, and emphasize the need for ongoing evaluation and research. Future work includes systematic studies to measure the impact of this tool on students' learning outcomes and enhancements to handle a broader range of problems.

研究の動機と目的

• インテリジェントチューティングシステムにおいて、学生の関心に合わせた単語問題を手作業でパーソナライズする課題のスケーラビリティを解決すること。
• GPT-4のような大規模言語モデルが、スケールアップして文脈的に関連性があり、教育的に妥当な問題変種を生成できるかどうかを検討すること。
• 学生固有の関心を統合しながらも、元の問題の数学的構造、数値、意図を維持すること。
• CTATにおいて、教師主導のワークフローを用いて、関心に基づいた問題変種を大量生産する実用的な手法を開発すること。
• LLMが教育的コンテンツの文脈化に果たす可能性と限界、特に図形問題や視覚的要素を必要とする問題に関して、実現可能性を評価すること。

提案手法

• GPT-4が文脈的に豊かな問題変種を生成できるように、多様な関心事例を用いたfew-shot学習を活用した繰り返しのプロンプト工学を採用した。
• 厳密なルールを適用：数値の変更を禁止し、余分な質問の追加を禁止し、問題文の過剰な複雑化を防いだ。
• CTATプラットフォームに統合し、教師主導の問題作成のための「関心に基づく文脈化」タブをマスプロダクション機能に追加した。
• 学生向けインターフェースで、生成された問題のリアルタイムプレビューと編集を可能にし、品質と意図との整合性を保証した。
• 文脈化の正確性をテストするために、特に一次方程式や式の問題に焦点を当てた。
• 変数が定義された問題と複数の部分からなる質問を含む問題を、NBA、TikTok、ビデオゲームなどの関心事に基づいた物語形式に変換した。

Figure 1: User can enter or add interests in the “Contexualize By Interest” tab

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、元の問題の数学的値と構造を保ちつつ、文脈的にパーソナライズされた代数的単語問題を生成できるか？
• RQ2 学生の関心に基づく文脈化が、インテリジェントチューティングシステムにおける参加意欲と学習効果をどの程度向上させるか？
• RQ3 繰り返しのプロンプト工学は、LLMが生成する問題が教育的に妥当であり、不要な複雑さを含まないことを保証するためにどの程度有効か？
• RQ4 現在のLLMが、図や視覚的表現を必要とする問題（例：図形問題）を処理する際の限界は何か？
• RQ5 提案手法は、問題の整合性を損なわず、幅広い学生の関心をカバーするようにスケーリング可能か？

主な発見

• GPT-4は、NBA、TikTok、ビデオゲームなど多様な学生の関心事に合わせた、文脈的に適切で数学的に正確な問題変種を成功裏に生成した。
• 元の問題の値と構造が保持され、過剰な複雑化や意図の不測な変更が発生しなかった。
• few-shot例を用いた繰り返しのプロンプト工学により、生成された問題文の文脈の整合性と品質が著しく向上した。
• CTATプラットフォーム内において、教師主導のスケーラブルな大量生産が可能となり、実際の教室への統合を支援した。
• 代数的単語問題においては優れたパフォーマンスを示したが、図や視覚的表現を必要とする図形問題ではGPT-4が苦戦した。
• 現在のアプローチでは視覚的要素を生成しないため、図形的・空間的理解を必要とする問題には応用が限定的である。

Figure 2: After user click the “CONTEXUALIZE” button, they can preview and edit the contexualized problems. For example, this figure show how the system contexualized the original algebra problem based on the “TikTok” interest.