[논문 리뷰] Developing Effective Educational Chatbots with ChatGPT prompts: Insights from Preliminary Tests in a Case Study on Social Media Literacy (with appendix)

Cansu Koyutürk, Mona Yavari외 10명|arXiv (Cornell University)|2023. 06. 18.

AI in Service Interactions인용 수 7

한 줄 요약

이 논문은 소셜 미디어 리터러시를 위한 교육용 챗봇을 개발하기 위해 ChatGPT를 활용한 프롬프트 기반 접근법을 제시하며, 다양한 사용자 프로필에 걸쳐 개인화되고 다중 전환 대화를 지원할 수 있음을 보여준다. 초도 테스트 결과 교육 전략과 대화 스타일의 유연성이 높게 나타났지만, 응답 일관성과 역할 유지 측면에서 여전히 도전 과제가 남아 있다.

ABSTRACT

Educational chatbots come with a promise of interactive and personalized learning experiences, yet their development has been limited by the restricted free interaction capabilities of available platforms and the difficulty of encoding knowledge in a suitable format. Recent advances in language learning models with zero-shot learning capabilities, such as ChatGPT, suggest a new possibility for developing educational chatbots using a prompt-based approach. We present a case study with a simple system that enables mixed-turn chatbot interactions and discuss the insights and preliminary guidelines obtained from initial tests. We examine ChatGPT's ability to pursue multiple interconnected learning objectives, adapt the educational activity to users' characteristics, such as culture, age, and level of education, and its ability to use diverse educational strategies and conversational styles. Although the results are encouraging, challenges are posed by the limited history maintained for the conversation and the highly structured form of responses by ChatGPT, as well as their variability, which can lead to an unexpected switch of the chatbot's role from a teacher to a therapist. We provide some initial guidelines to address these issues and to facilitate the development of effective educational chatbots.

연구 동기 및 목표

• 복잡한 플랫폼 통합 없이도 ChatGPT의 제로샷 학습 능력을 활용해 교육용 챗봇을 개발하는 데의 가능성을 탐구하기 위해.
• 사용자의 연령, 교육 수준, 문화 배경 등의 특성에 맞게 ChatGPT가 교육 콘텐츠를 얼마나 효과적으로 적응시킬 수 있는지 평가하기 위해.
• 다중 전환 대화를 관리하면서도 교육적 초점을 유지할 수 있는 챗봇의 능력을 평가하기 위해.
• 응답 일관성, 역할 안정성(예: 교사 vs. 상담사) 및 대화 기록 제한 등의 과제를 특정하기 위해.

제안 방법

• 자연어 프롬프트를 사용해 다중 전환 상호작용이 가능한 챗봇 시스템을 프롬프트 기반으로 설계하였다.
• 소셜 미디어 리터러시를 위한 교육 목표를 구조적이고도 유연한 프롬프트로 표현하여 ChatGPT의 응답을 이끌었다.
• 사용자 특성에 맞는 적응을 위해 프롬프트 템플릿에 인구통계학적 및 맥락적 단서를 포함시켰다.
• 다양한 학습 요구를 충족시키기 위해 다수의 대화 스타일과 교육 전략(예: 지지 구조, 질문 기반 학습)을 프롬프트 설계에 통합하였다.
• 초도 테스트로 시뮬레이션된 사용자 상호작용을 통해 응답 품질, 적응 가능성, 전환 간 일관성 등을 평가하였다.
• 응답 변동성과 의도치 않은 역할 전환과 같은 관찰된 문제들로부터 지침을 도출하였다.

실험 결과

연구 질문

• RQ1 프롬프트 기반 ChatGPT 시스템이 소셜 미디어 리터러시 분야에서 다수의 상호연결된 학습 목표를 얼마나 효과적으로 지원할 수 있는가?
• RQ2 챗봇은 사용자의 연령, 교육 수준, 문화 배경에 맞게 교육 콘텐츠와 대화 스타일을 얼마나 잘 적응시킬 수 있는가?
• RQ3 다중 전환 대화 중에 일관된 교육적 역할을 유지하는 데서 ChatGPT의 한계는 무엇인가?
• RQ4 응답 변동성과 제한된 대화 기록은 교육용 챗봇의 신뢰성과 효과성에 어떤 영향을 미치는가?

주요 결과

• ChatGPT는 연령, 교육 수준, 문화적 배경의 다양성과 같은 다양한 사용자 프로필에 걸쳐 개인화되고 적응 가능한 응답을 제공할 잠재력을 보였다.
• 시스템은 한 번의 상호작용 흐름 안에서 지지 구조 및 질문 기반 접근과 같은 다수의 교육 전략을 성공적으로 적용하였다.
• 응답 변동성이 관찰되었으며, 일부 출력에서는 의도한 교육적 목표에서 벗어나거나 챗봇의 역할이 교사에서 상담사로 전환되는 경우가 있었다.
• 제한된 대화 기록으로 인해 장기적인 상호작용에서 맥락 손실이 발생하여 시간이 지남에 따라 일관성과 개인화가 떨어졌다.
• 프롬프트 기반 접근법은 복잡한 백엔드 개발이나 지식 그래프 인코딩 없이도 빠른 프로토타이핑과 반복 개발을 가능하게 하였다.
• 초기 지침은 교육용 챗봇 설계에서 역할 불일치 및 응답 불안정성의 위험을 완화하기 위해 수립되었다.