[論文レビュー] Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT

David James Woo, Kai Guo+1 more|arXiv (Cornell University)|Jun 19, 2023

AI in Service Interactions被引用数 5

ひとこと要約

本研究は、シンガポールのEFL中学生がChatGPTを用いてライティングタスクを遂行する際のプロンプト工学のナビゲーション方法を調査し、試行錯誤による4つの明確なパスウェイを明らかにした。研究は、指導なしでは効果的なプロンプトを構築することが難しいと示しており、ライティング支援を向上させ、推測に依存するのを減らすために、EFLライティングの教室に体系的なプロンプト工学教育を統合する必要性が急務であることを強調している。

ABSTRACT

ChatGPT is a state-of-the-art (SOTA) chatbot. Although it has potential to support English as a foreign language (EFL) students' writing, to effectively collaborate with it, a student must learn to engineer prompts, that is, the skill of crafting appropriate instructions so that ChatGPT produces desired outputs. However, writing an appropriate prompt for ChatGPT is not straightforward for non-technical users who suffer a trial-and-error process. This paper examines the content of EFL students' ChatGPT prompts when completing a writing task and explores patterns in the quality and quantity of the prompts. The data come from iPad screen recordings of secondary school EFL students who used ChatGPT and other SOTA chatbots for the first time to complete the same writing task. The paper presents a case study of four distinct pathways that illustrate the trial-and-error process and show different combinations of prompt content and quantity. The cases contribute evidence for the need to provide prompt engineering education in the context of the EFL writing classroom, if students are to move beyond an individual trial-and-error process, learning a greater variety of prompt content and more sophisticated prompts to support their writing.

研究の動機と目的

• EFL中学生がChatGPTを用いてライティングタスクを遂行する際のプロンプト工学戦略の性質と発展を検討すること。
• 学生が大規模言語モデルとの初回相互作用において使用するプロンプトの質と量のパターンを特定すること。
• 事前の指導やガイダンスなしに、効果的なプロンプトを構築する際に学生が直面する課題を解明すること。
• EFLライティングのカリキュラムにプロンプト工学教育を統合する必要性を裏付ける実証的証拠を提供すること。

提案手法

• データ収集は、12名の中学EFL生徒が初めてChatGPTやその他の最先端のチャットボットを用いて標準化されたライティングタスクを遂行する際のiPad画面録画を通じて行われた。
• 本研究は、4名の代表的生徒に焦点を当てたケーススタディデザインを採用した。これらの生徒は明確に異なるプロンプト工学のパスウェイを示した。
• プロンプトの内容は、構造、明確性、ロールプレイ、タスクフレーミング、フィードバックループの使用について分析された。
• 研究者たちは、タスク定義、対象読者指定、出力形式要請などのコンテンツ要素に基づいてプロンプトを分類した。
• 複数回の相互作用にわたるプロンプトの質と量の変化を追跡し、反復的改善のパターンを同定した。
• 研究結果は、タスク中の学生の行動と相互作用の順序に関する定性的な観察と三角測定された。

実験結果

リサーチクエスチョン

• RQ1 EFL中学生がChatGPTを用いてライティングタスクを初めて遂行する際、どのようにプロンプトを構築・修正するか？
• RQ2 学生間のChatGPTとの相互作用において、プロンプトの質と量にどのようなパターンが見られるか？
• RQ3 頻繁に使用されるプロンプトコンテンツの種類（例：タスク定義、役割割り当て、フィードバック要請）は何か、そしてそれらはどのように進化するか？
• RQ4 学生のプロンプト戦略が体系的なアプローチではなく、試行錯誤のプロセスを反映しているのはなぜか？
• RQ5 これらの発見が、EFLライティング指導にプロンプト工学を統合する上でどのような意味を持つのか？

主な発見

• 学生のプロンプトの質には顕著なばらつきが見られ、多くの学生が反復的な試行錯誤の相互作用を通じてしか進化しない、曖昧または不完全な指示から出発した。
• 最も効果的なパスウェイは反復的改善を含み、学生が複数回のプロンプト交換を通じて段階的に明確性を高めた——具体的には、読者、トーン、構造といった要素を段階的に追加した。
• ロールプレイ（例：「高校生として、説得的エッセイを書く」）を用いた学生は、一般的なプロンプトを使用した学生よりも、より一貫性があり関連性の高い出力を得た。
• フィードバックループを自然に組み込むか、再編集を要請する学生は僅かにしかおらず、上級なプロンプト技法への認識が限られていることが示された。
• 本研究は、学生が自発的に高品質なプロンプトを生成する能力に明確なギャップがあることを明らかにした。これは、プロンプト工学教育を明示的に導入する必要性を強調している。
• 4つの明確なパスウェイが同定された：探索的試行錯誤、段階的改善、ロールベースのプロンプト、目的指向の反復。それぞれが有効性と複雑さにおいて異なっていた。