[論文レビュー] Effects of a Prompt Engineering Intervention on Undergraduate Students' AI Self-Efficacy, AI Knowledge and Prompt Engineering Ability: A Mixed Methods Study

David James Woo, Deliang Wang+2 more|arXiv (Cornell University)|Jul 30, 2024

Diverse Interdisciplinary Research Innovations被引用数 5

ひとこと要約

この研究は、学部生を対象とした100分のプロンプトエンジニアリング介入を設計・試験し、27名の参加者を用いた混合手法でAI自己効力感、AI知識、プロンプトエンジニアリング能力への影響を検討する。

ABSTRACT

Prompt engineering is critical for effective interaction with large language models (LLMs) such as ChatGPT. However, efforts to teach this skill to students have been limited. This study designed and implemented a prompt engineering intervention, examining its influence on undergraduate students' AI self-efficacy, AI knowledge, and proficiency in creating effective prompts. The intervention involved 27 students who participated in a 100-minute workshop conducted during their history course at a university in Hong Kong. During the workshop, students were introduced to prompt engineering strategies, which they applied to plan the course's final essay task. Multiple data sources were collected, including students' responses to pre- and post-workshop questionnaires, pre- and post-workshop prompt libraries, and written reflections. The study's findings revealed that students demonstrated a higher level of AI self-efficacy, an enhanced understanding of AI concepts, and improved prompt engineering skills because of the intervention. These findings have implications for AI literacy education, as they highlight the importance of prompt engineering training for specific higher education use cases. This is a significant shift from students haphazardly and intuitively learning to engineer prompts. Through prompt engineering education, educators can faciitate students' effective navigation and leverage of LLMs to support their coursework.

研究の動機と目的

• 構造化されたプロンプトエンジニアリング介入が学部生のAI自己効力感を改善するかを調査する。
• 介入後の学生のAI概念理解の変化を検討する。
• 課題への適用として学生のプロンプトエンジニアリング能力の向上を評価する。
• 介入がAIリテラシーにどのような影響を与えるかを理解するために、学生の振り返りを探る。

提案手法

• 香港の大学の歴史科の授業内で100分のプロンプトエンジニアリングワークショップを実施する。
• 27名の学生を巻き込み、プロンプトエンジニアリング戦略を導入する。
• 戦略を適用して、コースの最終エッセイ課題を計画・支援する。
• ワークショップ前後の質問票、ワークショップ前後のプロンプトライブラリ、そして書かれた振り返りからデータを収集する。
• 量的成果と質的洞察を三角測法で統合するために、混合手法を用いてデータを分析する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトエンジニアリング介入は学生のAI自己効力感を高めるか？
• RQ2 介入は学生のAI知識とAI概念の理解を高めるか？
• RQ3 介入は課題の文脈で学生のプロンプトエンジニアリング能力を向上させるか？
• RQ4 学生の振り返りは学習過程とリテラシー向上についてどんな洞察を提供するか？

主な発見

• 介入後、学生のAI自己効力感が高まった。
• 介入後、学生はAI概念の理解が深まったことを示した。
• ワークショップの結果、学生のプロンプトエンジニアリングスキルが向上した。
• 質的振り返りは、介入が課題におけるLLMのより意図的で効果的な活用を支援することを示唆している。