[논문 리뷰] Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT

David James Woo, Kai Guo외 1명|arXiv (Cornell University)|2023. 06. 19.

AI in Service Interactions인용 수 5

한 줄 요약

이 연구는 싱가포르의 EFL 중학생들이 ChatGPT를 사용하여 글쓰기 과제를 수행할 때 프롬프트 엔지니어링을 어떻게 탐색하는지 조사하며, 시행착오를 통해 네 가지의 명확한 길을 밝혀냈다. 연구는 지도 없이 효과적인 프롬프트를 작성하는 데에 학생들이 어려움을 겪음을 입증하며, 글쓰기 지원을 향상시키고 추측에 의존하는 것을 줄이기 위해 EFL 글쓰기 수업에 체계적인 프롬프트 엔지니어링 교육을 통합할 필요성이 급박히 제기됨을 시사한다.

ABSTRACT

ChatGPT is a state-of-the-art (SOTA) chatbot. Although it has potential to support English as a foreign language (EFL) students' writing, to effectively collaborate with it, a student must learn to engineer prompts, that is, the skill of crafting appropriate instructions so that ChatGPT produces desired outputs. However, writing an appropriate prompt for ChatGPT is not straightforward for non-technical users who suffer a trial-and-error process. This paper examines the content of EFL students' ChatGPT prompts when completing a writing task and explores patterns in the quality and quantity of the prompts. The data come from iPad screen recordings of secondary school EFL students who used ChatGPT and other SOTA chatbots for the first time to complete the same writing task. The paper presents a case study of four distinct pathways that illustrate the trial-and-error process and show different combinations of prompt content and quantity. The cases contribute evidence for the need to provide prompt engineering education in the context of the EFL writing classroom, if students are to move beyond an individual trial-and-error process, learning a greater variety of prompt content and more sophisticated prompts to support their writing.

연구 동기 및 목표

• EFL 중학생이 글쓰기 과제를 수행할 때 ChatGPT를 사용하는 과정에서 프롬프트 엔지니어링 전략의 성격과 변화 양상을 조사하기 위해.
• 학생들이 대규모 언어 모델을 처음으로 만날 때 프롬프트의 질과 양에 나타나는 패턴을 규명하기 위해.
• 사전 지도 없이 효과적인 프롬프트를 작성하는 데에 학생들이 겪는 과제를 밝혀내기 위해.
• EFL 글쓰기 교육 과정에 프롬프트 엔지니어링 교육을 통합할 필요성을 뒷받침하는 실증적 증거를 제공하기 위해.

제안 방법

• 12명의 중학교 EFL 학생이 처음으로 표준화된 글쓰기 과제를 수행하기 위해 ChatGPT 및 기타 최신 기술 기반 챗봇을 사용하는 과정에서 iPad 화면 녹화를 통해 데이터를 수집함.
• 연구는 네 명의 대표적인 학생을 중심으로 한 사례 연구 설계를 취하며, 각각 다른 프롬프트 엔지니어링 길을 보여줌.
• 프롬프트의 내용을 구조, 구체성, 역할 재연, 작업 프레임, 피드백 루프의 사용 여부 등에 대해 분석함.
• 연구진은 작업 정의, 청중 특정, 출력 형식 요청 등의 내용 구성 요소를 기반으로 프롬프트를 분류함.
• 프롬프트의 질과 양의 변화를 다중 상호작용 과정에서 추적하며, 반복적인 개선 패턴을 식별함.
• 연구 결과는 학생의 행동과 상호작용 순서에 대한 질적 관찰과 함께 삼중 검증됨.

실험 결과

연구 질문

• RQ1 EFL 중학생들이 ChatGPT를 사용하여 글쓰기 과제를 처음 수행할 때 프롬프트를 어떻게 구성하고 수정하는가?
• RQ2 학생 간 ChatGPT 상호작용에서 프롬프트의 질과 양에 나타나는 패턴은 무엇인가?
• RQ3 가장 자주 사용되는 프롬프트 유형(예: 작업 정의, 역할 부여, 피드백 요청)은 무엇이며, 그 유형은 어떻게 변화하는가?
• RQ4 학생들의 프롬프트 전략이 체계적인 접근 방식이 아니라 시행착오 과정을 반영하는 방식으로 나타나는 이유는 무엇인가?
• RQ5 이러한 발견은 EFL 글쓰기 수업에 프롬프트 엔지니어링을 통합하는 데 어떤 함의를 지닌다?

주요 결과

• 학생들은 프롬프트의 질에 있어 뚜렷한 변동성을 보였으며, 많은 학생들이 반복적인 시행착오 상호작용을 통해만 개선되는 모호하거나 불완전한 지시로 시작함.
• 가장 효과적인 길은 반복적인 개선을 포함하며, 학생들이 여러 프롬프트 교환 과정에서 점차적으로 청중, 어조, 구조 등의 구체성을 추가함.
• 역할 재연(예: '고등학생으로서 설득적 에세이를 쓰는 것처럼')을 사용한 학생들은 일반적인 프롬프트를 사용한 학생들보다 더 명확하고 관련성이 높은 출력을 생성함.
• 피드백 루프를 자연스럽게 통합하거나 수정을 요청하는 학생은 소수에 그치며, 고급 프롬프트 기법에 대한 인식이 부족함을 시사함.
• 학생들이 독립적으로 고품질의 프롬프트를 생성하는 데에 명백한 격차가 있음을 드러내며, 프롬프트 엔지니어링에 대한 명시적 지도의 필요성을 강조함.
• 네 가지의 명확한 길이 식별됨: 탐색적 시행착오, 점진적 개선, 역할 기반 프롬프트, 목표 중심 반복 — 각각의 효과성과 복잡성에서 차이를 보임.