[논문 리뷰] Enhancing Chemistry Learning with ChatGPT, Bing Chat, Bard, and Claude as Agents-to-Think-With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|2023. 10. 23.

Online Learning and Analytics인용 수 4

한 줄 요약

이 비교 사례 연구는 화학 교육에서 ChatGPT, Bing Chat, Bard, Claude를 '사고 도우미'로 평가하며, 시뮬레이션된 학생 상호작용과 내용 분석을 통해 진행된다. ChatGPT는 맥락 이해, 비판적 사고 및 소크라테스적 질문에서 다른 모델들을 앞서며, 동적이고 개인화된 대화를 통해 학습을 향상시키는 데 뛰어난 잠재력을 보였다.

ABSTRACT

This research delves into the comparative advantages of Generative AI chatbots (GenAIbots) -- ChatGPT, Bing Chat, Bard, and Claude -- in the context of Chemistry education, framed within a constructivist perspective. Our primary objective was to identify which of these four AI tools is more effective for enhancing Chemistry learning. Employing a single-case study approach, we scrutinised interaction logs between the AI systems and a simulated student persona during Chemistry learning simulations, incorporating Content Analysis methodology to delve deeper into the discourse. Our findings underscore these tools' potential as "agents-to-think-with", enhancing critical thinking, problem-solving, comprehension, creativity, and tailored learning. Especially noteworthy is their ability to stimulate learners through Socratic-like questioning, aligning with constructionist principles. The research emphasises the pivotal role of prompt crafting to coax desired responses from GenAIbots, engendering iterative reflections. It also highlights the need for robust educator training to infuse these technologies into educational settings. Conclusively, while ChatGPT, Bing Chat, Bard, and Claude are poised to enrich Chemistry education by fostering dynamic, inclusive learning experiences, ChatGPT stood out, decisively surpassing Bing Chat in its performance. Bard and Claude trailed closely, with all three showcasing a more in-depth, precise, and nuanced understanding, underscoring ChatGPT's adeptness at contextual comprehension.

연구 동기 및 목표

• 네 가지 생성형 AI 챗봇—ChatGPT, Bing Chat, Bard, Claude가 화학 학습을 향상시키는 데 효과적인가를 평가하는 것.
• 이러한 AI 시스템이 구성주의 학습 프레임워크 내에서 비판적 사고, 문제 해결 및 이해를 지원하는 방식으로 '사고 도우미'로 기능하는 방식을 탐구하는 것.
• 생성형 AI가 교육적 맥락에서 고급이고 세밀한 응답을 이끌어내는 데 있어 프롬프트 엔지니어링의 역할을 규명하는 것.
• 교육자 훈련 및 공식 화학 수업에 AI 도구를 통합하는 데 미치는 영향을 평가하는 것.
• 개인화되고 탐구 기반의 화학 학습에 가장 효과적인 지원을 제공하는 AI 모델을 특정하는 것.

제안 방법

• 시뮬레이션된 학생 성격을 가진 개인이 화학 학습 과제를 수행하는 단일 사례 연구를 수행하였다.
• AI 모델과 시뮬레이션된 학습자 간의 상호작용 로그를 활용하여 대화 패턴과 응답 품질을 분석하였다.
• 내용 분석 방법론을 적용하여 AI가 생성한 응답의 깊이, 정확성 및 교육적 가치를 체계적으로 평가하였다.
• 주요 평가 차원으로는 소크라테스적 질문, 맥락 이해 및 응답 정밀도에 집중하였다.
• 반복적인 프롬프트 최적화를 통해 프롬프트 작성 방식이 AI 성능과 응답 품질에 미치는 영향을 평가하였다.
• 화학 교육에서 반성 유도, 창의성 증진 및 문제 해결 지원 능력을 바탕으로 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 ChatGPT, Bing Chat, Bard, Claude는 화학 학습 과제를 지원하는 데 있어 '사고 도우미'로 어떻게 기능하는가?
• RQ2 어느 AI 모델이 비판적 사고와 개념적 이해를 증진시키기 위해 소크라테스적 질문을 가장 효과적으로 활용하는가?
• RQ3 프롬프트 엔지니어링은 교육적 맥락에서 생성형 AI의 응답 품질과 깊이에 얼마나 영향을 미치는가?
• RQ4 시뮬레이션된 화학 학습 과정에서 모델들은 맥락 이해, 정밀도 및 학습자 요구에 대한 적응성 측면에서 어떻게 비교되는가?
• RQ5 이러한 연구 결과는 생성형 AI를 공식 화학 교육 및 교사 훈련에 통합하는 데 어떤 영향을 미치는가?

주요 결과

• 화학 학습 시뮬레이션 동안 ChatGPT는 맥락 이해, 응답 깊이 및 교육적 효과성 측면에서 Bing Chat을 뚜렷이 앞서는 성과를 보였다.
• Bard와 Claude는 Bing Chat보다 더 깊이 있고 정밀하며 세밀한 응답을 제공했지만, ChatGPT만큼 일관되지는 않았다.
• 네 모델 모두 '사고 도우미'로서의 잠재력이 높았으며, 상호작용 대화를 통해 비판적 사고, 문제 해결 능력 및 창의성을 향상시키는 데 기여했다.
• 소크라테스적 질문은 ChatGPT에서 가장 효과적으로 구현되었으며, 구성주의 학습 원칙과 가장 밀접하게 부합했다.
• 프롬프트 작성은 생성형 AI 모델이 고급이고 반성적이며 정확한 응답을 이끌어내는 데 핵심적인 요소로 규명되었다.
• 본 연구는 이러한 AI 도구를 화학 수업에 효과적으로 통합하고 학습 잠재력을 극대화하기 위해 교육자 훈련이 필수적임을 강조한다.