[논문 리뷰] Effects of a Prompt Engineering Intervention on Undergraduate Students' AI Self-Efficacy, AI Knowledge and Prompt Engineering Ability: A Mixed Methods Study

David James Woo, Deliang Wang외 2명|arXiv (Cornell University)|2024. 07. 30.

Diverse Interdisciplinary Research Innovations인용 수 5

한 줄 요약

본 연구는 학부생을 대상으로 100-minute 프롬프트 엔지니어링 개입을 설계하고 테스트하여, 혼합 방법을 사용해 27명의 참가자를 대상으로 AI 자기효능감, AI 지식, 프롬프트 엔지니어링 능력에 미치는 영향을 분석한다.

ABSTRACT

Prompt engineering is critical for effective interaction with large language models (LLMs) such as ChatGPT. However, efforts to teach this skill to students have been limited. This study designed and implemented a prompt engineering intervention, examining its influence on undergraduate students' AI self-efficacy, AI knowledge, and proficiency in creating effective prompts. The intervention involved 27 students who participated in a 100-minute workshop conducted during their history course at a university in Hong Kong. During the workshop, students were introduced to prompt engineering strategies, which they applied to plan the course's final essay task. Multiple data sources were collected, including students' responses to pre- and post-workshop questionnaires, pre- and post-workshop prompt libraries, and written reflections. The study's findings revealed that students demonstrated a higher level of AI self-efficacy, an enhanced understanding of AI concepts, and improved prompt engineering skills because of the intervention. These findings have implications for AI literacy education, as they highlight the importance of prompt engineering training for specific higher education use cases. This is a significant shift from students haphazardly and intuitively learning to engineer prompts. Through prompt engineering education, educators can faciitate students' effective navigation and leverage of LLMs to support their coursework.

연구 동기 및 목표

• 구조화된 프롬프트 엔지니어링 개입이 학부생의 AI 자기효능감을 향상시키는지 조사한다.
• 개입 후 학생들의 AI 개념 이해 변화를 살펴본다.
• 과제에 적용된 학생들의 프롬프트 엔지니어링 능력 향상을 평가한다.
• 개입이 AI 리터러시에 어떤 영향을 주는지 이해하기 위해 학생들의 성찰을 탐구한다.

제안 방법

• 홍콩의 한 대학 역사 과목에서 100-minute 프롬프트 엔지니어링 워크숍을 시행한다.
• 27명의 학생들을 참여시키고 프롬프트 엔지니어링 전략을 도입한다.
• 이 전략들을 적용해 과목의 최종 에세이 과제를 계획하고 지원한다.
• 워크숍 전후 설문지, 워크숍 전후 프롬프트 라이브러리, 그리고 서면 성찰에서 데이터를 수집한다.
• 정량적 증가와 질적 통찰을 삼각측량하기 위해 혼합 방법을 사용해 데이터를 분석한다.

실험 결과

연구 질문

• RQ1 프롬프트 엔지니어링 개입이 학생들의 AI 자기효능감을 증가시키는가?
• RQ2 개입이 학생들의 AI 지식과 AI 개념 이해를 향상시키는가?
• RQ3 개입이 과제 맥락에서 학생들의 프롬프트 엔지니어링 능력을 향상시키는가?
• RQ4 학생들의 성찰은 학습 과정과 리터러시 향상에 대한 어떤 통찰을 제공하는가?

주요 결과

• 개입 후 학생들의 AI 자기효능감이 높아졌다.
• 개입 후 학생들이 AI 개념에 대한 이해가 향상되었음을 보여주었다.
• 워크숍의 결과로 학생들의 프롬프트 엔지니어링 기술이 향상되었다.
• 질적 성찰은 개입이 과제에서 LLMs를 더 의도적이고 효과적으로 활용하도록 지원한다는 것을 시사한다.