[논문 리뷰] Enhancing Physics Learning with ChatGPT, Bing Chat, and Bard as Agents-to-Think-With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|2023. 06. 01.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

물리 학습에서 사고를 돕는 대리인으로서 네 가지 GenAI 챗봇(ChatGPT-3.5, ChatGPT-4, Bing Chat, Bard)을 단일 사례 연구로 비교하고, 시뮬레이션된 학생과의 상호 작용 로그를 분석하여 공감, 주제 지식, 학습 과정 이해를 평가한다.

ABSTRACT

The rise of AI has brought remarkable advancements in education, with AI models demonstrating their ability to analyse and provide instructive solutions to complex problems. This study compared and analysed the responses of four Generative AI-powered chatbots (GenAIbots) - ChatGPT-3.5, ChatGPT-4, Bing Chat, and Bard - within the constructivist theoretical framework. Using a single-case study methodology, interaction logs between the GenAIbots and a simulated student in Physics learning scenarios were analysed. The GenAIbots were presented with conceptually dense Physics problems to promote deep understanding. The qualitative analysis focused on tutor traits such as subject-matter knowledge, empathy, assessment emphasis, facilitation skills, and comprehension of the learning process. Findings showed that all GenAIbots functioned as agents-to-think-with, fostering critical thinking, problem-solving, and subject-matter knowledge. ChatGPT-4 stood out for demonstrating empathy and a deep understanding of the learning process. However, inconsistencies and shortcomings were observed, highlighting the need for human intervention in AI-assisted learning. In conclusion, while GenAIbots have limitations, their potential as agents-to-think-with in Physics education offers promising prospects for revolutionising instruction.

연구 동기 및 목표

• GenAI 기반 챗봇이 구성주의 프레임워크에서 물리 학습의 '생각-함께하는 에이전트'로 작동하는 방식 조사
• 시뮬레이션된 물리 학습자와의 네 가지 GenAI봇 간 상호작용 로그를 분석하여 튜터 특성 평가
• 각 챗봇이 비판적 사고, 문제 해결 및 주제 지식 향상에 기여하는 강점과 한계 식별
• 인간 개입의 시사점 및 물리 수업을 변혁할 GenAI봇의 잠재력Highlight

제안 방법

• GenAI봇과 물리 학습 시나리오에서 시뮬레이션된 학생 간의 상호 작용 로그를 이용한 단일 사례 연구
• 튜터 특성(주제 지식, 공감, 평가 강조, 촉진 기술, 학습 과정 이해)에 초점을 맞춘 질적 분석
• 네 가지 GenAI봇(ChatGPT-3.5, ChatGPT-4, Bing Chat, Bard) 간 비교
• 개념적으로 밀도 높은 물리 문제를 통해 깊은 이해를 촉진하는 능력 평가

실험 결과

연구 질문

• RQ1 ChatGPT-3.5, ChatGPT-4, Bing Chat, Bard가 물리 학습에서 어떤 생각-함께하는 에이전트로 작동하는가?
• RQ2 각 GenAI봇이 보이는 튜터 특성(지식, 공감, 평가 강조, 촉진, 학습 과정 이해)은 무엇인가?
• RQ3 물리 학습에서 비판적 사고와 문제 해결을 촉진하는 데 있어 각 GenAI봇의 강점과 한계는 무엇인가?
• RQ4 AI 지원 물리 수업을 보완하기 위해 인간의 개입이 어느 정도 필요한가?

주요 결과

• 모든 GenAI봇은 사고를 돕는 에이전트로 작동하여 비판적 사고, 문제 해결 및 주제 지식을 촉진했다.
• ChatGPT-4는 공감과 학습 과정에 대한 깊은 이해를 보여 두드러졌다.
• 일관성 및 한계가 봇 간에 관찰되어 AI 지원 학습에서 인간의 감독이 필요함을 시사한다.
• GenAI봇은 물리 수업을 혁신할 잠재력을 보이나, 한계와 적절한 인간 지원에 대한 고려가 필요하다.