[論文レビュー] Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception

Harsh Kumar, Ilya Musabirov+6 more|arXiv (Cornell University)|Oct 13, 2023

Technology Adoption and User Behaviour参考文献 88被引用数 10

ひとこと要約

本論文は、四つの pedagogically informed guidance strategies（list of suggestions, example-based instruction, metacognitive questioning, and solve-then-refine）を、二つの learner approaches（LLM-first vs. self-first）および二つの study settingsで検討し、学習者の performance、confidence、そして LLMs に対する trust に与える影響を評価する。

ABSTRACT

Personalized chatbot-based teaching assistants can be crucial in addressing increasing classroom sizes, especially where direct teacher presence is limited. Large language models (LLMs) offer a promising avenue, with increasing research exploring their educational utility. However, the challenge lies not only in establishing the efficacy of LLMs but also in discerning the nuances of interaction between learners and these models, which impact learners' engagement and results. We conducted a formative study in an undergraduate computer science classroom (N=145) and a controlled experiment on Prolific (N=356) to explore the impact of four pedagogically informed guidance strategies on the learners' performance, confidence and trust in LLMs. Direct LLM answers marginally improved performance, while refining student solutions fostered trust. Structured guidance reduced random queries as well as instances of students copy-pasting assignment questions to the LLM. Our work highlights the role that teachers can play in shaping LLM-supported learning environments.

研究の動機と目的

• 教育タスクでの学習者の LLM 使用に対する一般的な guidance strategies の影響を評価する。
• guidance が learner approach（LLM-first vs. self-first）とどのように相互作用して outcomes を形成するかを調べる。
• 異なる interaction stages における performance、confidence、trust、LLMs の有用感の影響を評価する。
• guidance strategies が student engagement および LLM tutor との interaction の品質に与える影響を探る。

提案手法

• 二つの研究を実施する：学部生 CS 教室での形成的フィールド study（N=145）と、統制された Prolific study（N=356）。
• 四つの guidance strategies（G1: List of Suggestions, G2: Example-based instruction, G3: Metacognitive questioning, G4: Solve then refine）を因子設計で操作。
• 二つの learner approaches を使用：Guidance に影響される LLM-First Approach (LFA) と Self-First Approach (SFA)。
• 課題と期末試験での performance を測定し、LLMs の認識（回答の自信、有用性、再度の対話意欲、誤り許容度）と自己認識（回答に対する自信）を測定。
• Study 2 では prompts の有無を比較し、前・後・タスク後の confidence and trust の推移を分析。

Figure 1 . Different forms of guidance strategies.

実験結果

リサーチクエスチョン

• RQ1 RQ1: ガイダンスのタイプは、学習者が LLM チューターと最初に行う対話パターンにどのような影響を与えるか？
• RQ2 RQ2: ガイダンス戦略は、学習者のタスク成績と LLMs を用いた学習成果にどのような影響を及ぼすか？
• RQ3 RQ3: ガイダンス戦略は、対話の各段階で問題解決における LLM の使用に対する学習者の自信にどのような影響を与えるか？
• RQ4 RQ4: ガイダンス戦略は、異なる interaction stages の間で学習者の LLM 回答に対する信頼にどのような影響を与えるか？
• RQ5 RQ5: ガイダンス手法は、interaction stages を通じた問題解決における学習者の自己効力感をどのように形成するか？

主な発見

• Structured guidance reduces random queries and decreases verbatim copying of assignment questions to the LLM; it also promotes deeper engagement.
• Direct LLM answers marginally improve performance; refining student solutions with the LLM fosters trust.
• Example-based instruction unexpectedly increases unrelated queries or attempts to break the chatbot.
• Metacognitive questioning increases rephrasing of questions but may increase copying in some cases.
• In the Prolific study, there were no statistically significant differences in task performance across guidance types or LLM types (prompted vs unprompted); confidence in using LLMs increases initially but drops after attempting real tasks, indicating a potentially negative interaction experience.

Figure 2 . Schematic of the formative study in a CS classroom. 2 ( List of Suggestions : present vs. absent) x 2 ( Example-based Instruction : present vs. absent) x 2 ( Metacognitive-questioning based Instruction : present vs. absent) x 2 ( Solve, then refine with LLM : present vs. absent) between s