[论文解读] Impact of Guidance and Interaction Strategies for LLM Use on Learner Performance and Perception

Harsh Kumar, Ilya Musabirov+6 more|arXiv (Cornell University)|Oct 13, 2023

Technology Adoption and User Behaviour参考文献 88被引用 10

一句话总结

该论文在两种学习者方法（LLM-first 与 self-first）和两种研究设置下，考察四种具有教学意义的指导策略（清单式建议、基于示例的教学、元认知提问、先解决再完善）对学习者表现、信心以及对 LLM 的信任的影响。

ABSTRACT

Personalized chatbot-based teaching assistants can be crucial in addressing increasing classroom sizes, especially where direct teacher presence is limited. Large language models (LLMs) offer a promising avenue, with increasing research exploring their educational utility. However, the challenge lies not only in establishing the efficacy of LLMs but also in discerning the nuances of interaction between learners and these models, which impact learners' engagement and results. We conducted a formative study in an undergraduate computer science classroom (N=145) and a controlled experiment on Prolific (N=356) to explore the impact of four pedagogically informed guidance strategies on the learners' performance, confidence and trust in LLMs. Direct LLM answers marginally improved performance, while refining student solutions fostered trust. Structured guidance reduced random queries as well as instances of students copy-pasting assignment questions to the LLM. Our work highlights the role that teachers can play in shaping LLM-supported learning environments.

研究动机与目标

• 评估常见指导策略如何影响学习者在教育任务中对 LLM 的使用。
• 考察指导如何与学习者方法（LLM-first 与 self-first）相互作用以影响结果。
• 评估在不同互动阶段对表现、信心、信任以及对 LLM 的感知有用性等的影响。
• 探索指导策略如何影响学生参与度以及与 LLM 导师互动质量。

提出的方法

• 在两项研究：在本科计算机科学课堂中的形成性现场研究（N=145）和在 Prolific 上的受控研究（N=356）。
• 在因子设计中操作四种指导策略（G1：清单式建议，G2：基于示例的教学，G3：元认知提问，G4：先解决再完善）。
• 使用两种学习者方法：LLM-First Approach（LFA）和 Self-First Approach（SFA），受指导影响。
• 衡量作业和期末考试的表现，以及对 LLM 的感知（对回答的信心、有用性、再次互动的意愿、对错误的容忍度）和自我感知（对答案的自信）。
• 在研究2中，比较带提示的与未带提示的 LLM，并分析任务前、任务后以及任务完成后的信心与信任轨迹。

Figure 1 . Different forms of guidance strategies.

实验结果

研究问题

• RQ1 RQ1：指导类型如何影响学习者与 LLM 导师的初始对话模式？
• RQ2 RQ2：指导策略对学习者使用 LLM 的任务表现和学习成果有何影响？
• RQ3 RQ3：指导策略在各互动阶段对学习者使用 LLM 进行问题解决的信心有何影响？
• RQ4 RQ4：指导策略在不同互动阶段对学习者对 LLM 回应的信任有何影响？
• RQ5 RQ5：指导方法在互动阶段如何塑造学习者在问题解决方面的自信？

主要发现

• 结构化指导减少随机提问并降低对作业问题原文逐字复制给 LLM；同时促进更深入的参与。
• 直接的 LLM 回答对表现的提升有限；使用 LLM 对学生解答进行 refinement 能培养信任。
• 基于示例的教学出乎意料地增加了不相关的查询或尝试破坏聊天机器人。
• 元认知提问增加了对问题的改述，但在某些情况下可能增加复制。
• 在 Prolific 研究中，不同指导类型或 LLM 类型（带提示 vs 未带提示）在任务表现上没有统计显著差异；对 LLM 的使用信心初始上升，但在尝试真实任务后下降，表明潜在的负面互动体验。

Figure 2 . Schematic of the formative study in a CS classroom. 2 ( List of Suggestions : present vs. absent) x 2 ( Example-based Instruction : present vs. absent) x 2 ( Metacognitive-questioning based Instruction : present vs. absent) x 2 ( Solve, then refine with LLM : present vs. absent) between s