[논문 리뷰] Enhancing Chemistry Learning with ChatGPT and Bing Chat as Agents to Think With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|2023. 05. 12.

AI in Service Interactions인용 수 6

한 줄 요약

이 연구는 생성형 AI 챗봇(ChatGPT와 Bing Chat)이 화학 교육에서 '사고의 도구로 사용되는 에이전트'로 기능하는 방식을 탐구한다. 구성주의 프레임워크와 소크라테스적 질문 기법을 활용하여 비판적 사고와 개념적 이해를 향상시키는 데 초점을 맞춘다. 결과적으로 ChatGPT는 다양한 화학 주제 전반에서 더 정확하고 구체적이며 맥락적으로 뉘앙스가 있는 설명을 제공함으로써 Bing Chat보다 높은 응답 품질을 보였다.

ABSTRACT

This study explores the potential of Generative AI chatbots (GenAIbots) such as ChatGPT and Bing Chat, in Chemistry education, within a constructionist theoretical framework. A single-case study methodology was used to analyse extensive interaction logs between students and both AI systems in simulated Chemistry learning experiences. The results highlight the ability of ChatGPT and Bing Chat to act as 'agents-to-think-with', fostering critical thinking, problem-solving, concept comprehension, creativity, and personalised learning experiences. By employing a Socratic-like questioning approach, GenAIbots nurture students' curiosity and promote active learning. The study emphasises the significance of prompt crafting, a technique to elicit desired responses from GenAIbots, fostering iterative reflections and interactions. It underlines the need for comprehensive educator training to effectively integrate these tools into classrooms. The study concludes that while ChatGPT and Bing Chat as agents-to-think-with offer promising avenues to revolutionise STEM education through a constructionist lens, fostering a more interactive, inclusive learning environment and promoting deeper comprehension and critical thinking in students across diverse Chemistry topics, ChatGPT consistently outperformed Bing Chat, providing more comprehensive, detailed, and accurate responses and skillfully addressing nuances and context.

연구 동기 및 목표

• 생성형 AI 챗봇(ChatGPT와 Bing Chat)이 화학 학습에서 인지적 파트너로서 수행하는 역할을 조사하기 위해.
• 소크라테스적 질문 기법과 프롬프트 기술이 학생의 참여도와 개념적 이해에 미치는 영향을 평가하기 위해.
• 화학 교육에서 비판적 사고, 문제 해결 및 개인 맞춤 학습을 촉진하는 데 있어 ChatGPT와 Bing Chat의 성능을 비교하기 위해.
• STEM 수업에 생성형 AI 도구를 통합함에 있어 주요 과제와 기회를 규명하기 위해.
• 과학 교육에서 AI 에이전트를 효과적으로 구현하기 위한 교사 교육 전략을 제안하기 위해.

제안 방법

• 단일 사례 연구 방법론을 사용하여, 시뮬레이션된 화학 학습 상황에서 학생들과 두 AI 시스템 간의 광범위한 상호작용 로그를 분석하였다.
• 학생들은 화학 개념을 탐구하기 위해 소크라테스적 질문 기법을 활용한 반복적이고 대화 기반의 상호작용에 참여하였다.
• AI의 응답이 깊이 있는 추론, 명확성 및 맥락적 정확성으로 향하도록 유도하기 위해 프롬프트 기술을 체계적으로 적용하였다.
• 구성주의 학습 프레임워크가 설계의 기초가 되었으며, 상호작용을 통해 활동적인 지식 구축을 강조하였다.
• 응답 품질에 대한 비교 분석은 ChatGPT와 Bing Chat 간의 완전성, 정확성, 세부 정보 및 맥락적 관련성에 중점을 두었다.
• 상호작용 로그는 인지적 참여도, 개념적 발달 및 메타인지적 반성 수준을 평가하기 위해 정성적으로 분석되었다.

실험 결과

연구 질문

• RQ1 ChatGPT와 Bing Chat는 화학 학습 맥락에서 어떻게 '사고의 도구로 사용되는 에이전트'로 기능하는가?
• RQ2 소크라테스적 질문 기법과 프롬프트 기술은 학생의 비판적 사고와 개념적 이해를 얼마나 향상시키는가?
• RQ3 다양한 화학 주제에 걸쳐 ChatGPT와 Bing Chat의 응답 품질은 정확성, 세부 정보 및 맥락적 뉘앙스 측면에서 어떻게 비교되는가?
• RQ4 이러한 AI 상호작용은 개인 맞춤형이고 포괄적인 STEM 교육에 어떤 영향을 미치는가?
• RQ5 교사들은 화학 수업에서 생성형 AI 도구를 효과적으로 통합하기 위해 어떤 훈련과 지원이 필요한가?

주요 결과

• ChatGPT는 다양한 화학 주제 전반에서 Bing Chat보다 더 포괄적이고 구체적이며 맥락적으로 정확한 응답을 일관되게 제공하였다.
• 소크라테스적 질문 기법을 적용할 경우, 두 AI 시스템 모두 비판적 사고와 문제 해결 능력을 효과적으로 지원하였다.
• 프롬프트 기술은 AI가 생성하는 설명의 품질과 관련성을 크게 향상시켰으며, 반복적 반성과 깊이 있는 학습을 가능하게 하였다.
• 구성주의 프레임워크는 AI를 인지적 파트너로 위치시키는 데 성공했으며, 활동적인 참여도와 개념 구축을 촉진하였다.
• 잘 설계된 프롬프트를 사용할 경우, 학생들은 AI 에이전트와의 상호작용을 통해 개념 이해도와 창의성이 향상되었다.
• ChatGPT의 뛰어난 성능은 고도화된 추론 능력과 더 나은 과학적 맥락의 뉘앙스를 처리하는 능력 덕분이었다.