[论文解读] Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT

David James Woo, Kai Guo+1 more|arXiv (Cornell University)|Jun 19, 2023

AI in Service Interactions被引用 5

一句话总结

本研究探讨了新加坡EFL中学生在使用ChatGPT完成写作任务时，如何通过试错法进行提示工程，揭示了四种不同的路径。研究发现，学生在缺乏指导的情况下难以有效构建提示，凸显了在EFL写作课堂中整合结构化提示工程教育的紧迫需求，以增强写作支持并减少对猜测的依赖。

ABSTRACT

ChatGPT is a state-of-the-art (SOTA) chatbot. Although it has potential to support English as a foreign language (EFL) students' writing, to effectively collaborate with it, a student must learn to engineer prompts, that is, the skill of crafting appropriate instructions so that ChatGPT produces desired outputs. However, writing an appropriate prompt for ChatGPT is not straightforward for non-technical users who suffer a trial-and-error process. This paper examines the content of EFL students' ChatGPT prompts when completing a writing task and explores patterns in the quality and quantity of the prompts. The data come from iPad screen recordings of secondary school EFL students who used ChatGPT and other SOTA chatbots for the first time to complete the same writing task. The paper presents a case study of four distinct pathways that illustrate the trial-and-error process and show different combinations of prompt content and quantity. The cases contribute evidence for the need to provide prompt engineering education in the context of the EFL writing classroom, if students are to move beyond an individual trial-and-error process, learning a greater variety of prompt content and more sophisticated prompts to support their writing.

研究动机与目标

• 探讨EFL中学生在使用ChatGPT完成写作任务时，其提示工程策略的性质及其演变过程。
• 识别学生在首次接触大型语言模型时，提示的质量与数量的模式。
• 揭示学生在缺乏先前指导或引导的情况下，构建有效提示所面临的挑战。
• 为将提示工程教育整合到EFL写作课程中提供实证依据。

提出的方法

• 通过iPad屏幕录制收集12名中学EFL学生首次使用ChatGPT及其他SOTA聊天机器人完成标准化写作任务的数据。
• 本研究采用案例研究设计，聚焦于四名表现出不同提示工程路径的代表性学生。
• 对提示内容进行分析，涵盖结构、具体性，以及角色扮演、任务框架和反馈循环的使用情况。
• 研究人员根据内容组件（如任务定义、受众指定和输出格式请求）对提示进行分类。
• 分析追踪了在多次互动中提示质量与数量的变化，识别出迭代优化的模式。
• 研究发现通过学生行为及互动序列的定性观察进行了三角验证。

实验结果

研究问题

• RQ1 EFL中学生在首次使用ChatGPT完成写作任务时，如何构建并修改提示？
• RQ2 不同学生与ChatGPT互动时，提示的质量与数量呈现出何种模式？
• RQ3 哪些类型的提示内容（例如任务定义、角色分配、反馈请求）最常被使用，且如何演变？
• RQ4 学生的提示策略在多大程度上反映了试错过程而非系统性方法？
• RQ5 这些发现对将提示工程整合到EFL写作教学中具有何种启示？

主要发现

• 学生在提示质量方面表现出显著差异，许多学生最初使用模糊或不完整的指令，仅通过反复试错互动才逐步改善。
• 最有效的路径涉及迭代优化，学生在多次提示交互中逐步增加具体性，如受众、语气和结构等要素。
• 使用角色扮演（例如“扮演一名撰写议论文的高中生”）的学生生成的输出比使用通用提示的学生更连贯、更相关。
• 仅有少数学生自发地引入反馈循环或请求修改，表明其对高级提示技术的认知有限。
• 研究揭示了学生独立生成高质量提示的能力存在明显差距，凸显了开展提示工程显性教学的必要性。
• 识别出四种不同的路径：探索性试错、渐进式优化、基于角色的提示和目标导向的迭代，其有效性与复杂性各不相同。