[논문 리뷰] ChEDDAR: Student-ChatGPT Dialogue in EFL Writing Education

Jieun Han, Haneul Yoo외 5명|arXiv (Cornell University)|2023. 09. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 1학기 동안 212명의 대학생이 참여한 EFL 작문 교육 환경에서의 학생-ChatGPT 대화 기록을 담은 대규모 종단적 데이터셋인 ChEDDAR를 소개한다. 이 데이터셋은 에세이 수정 내역, 의도, 만족도, 편집 이력 등을 포함하며, 의도 탐지 및 만족도 추정을 위한 베이스라인 모델을 수립하여 언어 교육 분야에서 윤리적인 AI 통합을 위한 기초 도구를 제공한다.

ABSTRACT

The integration of generative AI in education is expanding, yet empirical analyses of large-scale, real-world interactions between students and AI systems still remain limited. In this study, we present ChEDDAR, ChatGPT & EFL Learner's Dialogue Dataset As Revising an essay, which is collected from a semester-long longitudinal experiment involving 212 college students enrolled in English as Foreign Langauge (EFL) writing courses. The students were asked to revise their essays through dialogues with ChatGPT. ChEDDAR includes a conversation log, utterance-level essay edit history, self-rated satisfaction, and students' intent, in addition to session-level pre-and-post surveys documenting their objectives and overall experiences. We analyze students' usage patterns and perceptions regarding generative AI with respect to their intent and satisfaction. As a foundational step, we establish baseline results for two pivotal tasks in task-oriented dialogue systems within educational contexts: intent detection and satisfaction estimation. We finally suggest further research to refine the integration of generative AI into education settings, outlining potential scenarios utilizing ChEDDAR. ChEDDAR is publicly available at https://github.com/zeunie/ChEDDAR.

연구 동기 및 목표

• 생성형 AI가 EFL 작문 교육 환경에서 학생과 상호작용하는 데 있어 대규모 실세계 종단적 연구의 부족을 보완하기 위해.
• 학생들이 ChatGPT를 사용해 에세이를 수정할 때의 사용 패턴, 의도, 만족도 수준을 분석하기 위해.
• 임무 중심의 교육 대화 시스템에서 의도 탐지 및 만족도 추정을 위한 베이스라인 모델 수립을 위해.
• 향후 인간-AI 상호작용 연구를 지원하기 위해 공개 가능한 데이터셋을 제공하기 위해.

제안 방법

• 1학기 동안의 작문 수업 동안 212명의 EFL 학생으로부터 대화 로그, 에세이 편집 이력, 자가 평가 만족도, 의도 주석을 수집하였다.
• RECIPE 플랫폼을 활용해 ChatGPT를 에세이 수정 과정에 통합하여 체계적인 학생-AI 상호작용을 가능하게 하였다.
• 요청, 언어 사용, 수정, 평가, 정보 제공, 생성 등 총 14개의 의도 카테고리로 학생 발화를 주석 처리하였다.
• 의도 탐지 및 만족도 추정이라는 두 가지 하위 작업을 위한 베이스라인 모델를 개발하고 평가하였다.
• 학습 및 평가에 적합한 일관된 모델 응답을 유도하기 위해 각 작업별로 다섯 가지의 프롬프트 변형을 활용한 프롬프트 엔지니어링을 실시하였다.
• ChEDDAR 데이터셋을 공개하여 재현 가능성 및 AI 통합 교육 분야의 향후 연구를 지원하였다.

실험 결과

연구 질문

• RQ1 1학기 수업 기간 동안 EFL 학습자가 ChatGPT를 사용해 에세이를 수정할 때의 주요 사용 패턴과 상호작용 의도는 무엇인가?
• RQ2 학생들의 자가 평가 만족도 수준은 그들의 명시된 의도와 대화 맥락과 어떻게 관련되어 있는가?
• RQ3 베이스라인 모델은 AI 보조 작문 과제에서 학생 대화의 의도를 얼마나 잘 탐지하고, 만족도를 얼마나 정확하게 추정할 수 있는가?
• RQ4 실세계 종단적 데이터를 기반으로 볼 때, 생성형 AI를 EFL 작문 교육에 통합하는 데 있어 주요 과제와 기회는 무엇인가?

주요 결과

• 학생이 가장 자주 표현한 의도는 '언어 사용 요청'(16.00%)이었으며, 이어 '답변'(21.01%)과 '진술'(2.93%)이 뒤를 이었다. 이는 피드백 제공과 자기 표현에 대한 높은 참여도를 시사한다.
• 학생들은 주로 문법, 어휘, 철자, 구두점 향상에 대한 피드백을 요청하여 언어 정확성이 EFL 작문에서 핵심적인 역할을 한다는 점을 확인할 수 있었다.
• '답변' 의도가 가장 높은 분포(21.01%)를 보였으며, 이는 학생들이 AI의 질문에 자주 응답함으로써 대화에 적극적으로 참여하고 있음을 시사한다.
• 데이터셋은 학생들이 언어적 정련뿐 아니라 통일성, 논리적 연결성 평가와 같은 고차원적 수정에도 ChatGPT를 활용하고 있음을 드러냈다.
• 의도 탐지 및 만족도 추정을 위한 베이스라인 모델은 측정 가능한 성능을 보였으며, 교육용 AI 분야의 향후 NLP 모델 개발에 기초를 마련하였다.
• 기존 데이터셋의 심각한 격차를 규명한 바, 이전 연구에서는 실세계 종단적 인간-AI 대화 기록을 EFL 작문 교육 분야에서 캡처하지 못했으며, 이에 따라 ChEDDAR는 선구적인 자원이 되었다.