[논문 리뷰] Enhancing STEM Learning with ChatGPT and Bing Chat as Objects to Think With: A Case Study

Marco Antonio Rodrigues Vasconcelos, Renato P. dos Santos|arXiv (Cornell University)|2023. 05. 01.

Online Learning and Analytics인용 수 7

한 줄 요약

이 연구는 생성주의 프레임워크를 활용하여 챗지피티와 빙 검색을 과학·기술·공학·수학(STEM) 교육에서 '생각의 도구'로 사용하는지 조사한다. 단일 사례 연구를 통해 학생-AI 상호작용 기록을 분석한 결과, 이러한 AI는 반성적 사고, 문제 해결 능력 및 개념 이해를 향상시키지만, 협업 학습과의 통합 및 신뢰성 문제는 효과적인 구현을 위한 핵심 과제로 남아 있다.

ABSTRACT

This study investigates the potential of ChatGPT and Bing Chat, advanced conversational AIs, as "objects-to-think-with," resources that foster reflective and critical thinking, and concept comprehension in enhancing STEM education, using a constructionist theoretical framework. A single-case study methodology was used to analyse extensive interaction logs between students and both AI systems in simulated STEM learning experiences. The results highlight the ability of ChatGPT and Bing Chat to help learners develop reflective and critical thinking, creativity, problem-solving skills, and concept comprehension. However, integrating AIs with collaborative learning and other educational activities is crucial, as is addressing potential limitations like concerns about AI information accuracy and reliability of the AIs' information and diminished human interaction. The study concludes that ChatGPT and Bing Chat as objects-to-think-with offer promising avenues to revolutionise STEM education through a constructionist lens, fostering engagement in inclusive and accessible learning environments.

연구 동기 및 목표

• 대규모 언어 모델인 챗지피티와 빙 검색이 과학·기술·공학·수학 학습에서 '생각의 도구'로 기능할 수 있는지 조사하기.
• 이러한 AI 도구가 학생들의 반성적·비판적 사고, 창의성 및 개념 이해에 미치는 영향을 조사하기.
• 생성주의 학습 환경에 AI 통합의 역할을 평가하기.
• 정보 정확도 및 AI 기반 학습에서 인간 상호작용 감소와 같은 제한 사항을 특정하기.
• 생성주의 과학·기술·공학·수학 교육 프레임워크에서 AI를 효과적으로 활용하기 위한 근거 기반 권고안 제공하기.

제안 방법

• 학생들이 시뮬레이션된 과학·기술·공학·수학 학습 과제를 수행하는 동안 챗지피티와 빙 검색과의 상호작용 기록을 광범위하게 분석하기 위해 단일 사례 연구 설계를 사용하였다.
• 학생들이 AI를 인지 도구로 활용하여 지식을 공동으로 구성하는 방식을 해석하기 위해 생성주의 이론적 프레임워크를 적용하였다.
• 학생들이 두 AI 시스템을 사용하여 문제 해결 및 개념 탐구 활동에 참여하면서 상호작용 기록을 수집하였다.
• 질적 분석은 대화 패tern, 추론 깊이, 비판적 사고 및 개념 발달의 증거에 중점을 두었다.
• 정확성, 관련성 및 교육적 가치 측면에서 AI가 생성한 응답의 품질을 평가하였다.
• 사용자 참여도 및 학습 성과 측면에서 챗지피티와 빙 검색 간 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 학생들은 챗지피티와 빙 검색을 어떻게 과학·기술·공학·수학 맥락에서 반성적·비판적 사고를 지원하는 인지 도구로 활용하는가?
• RQ2 이러한 AI 시스템은 과학·기술·공학·수학 과목에서 학생들의 개념 이해 및 문제 해결 능력을 어느 정도 향상시키는가?
• RQ3 대규모 언어 모델을 생성주의 학습 환경에 통합할 때의 교육적 이점과 위험은 무엇인가?
• RQ4 AI 사용은 협업 학습 환경에서 학생의 참여도 및 인간 상호작용의 질에 어떤 영향을 미치는가?
• RQ5 정확도, 신뢰성 및 교육적 정당성 측면에서 AI가 생성한 콘텐츠에서 발생하는 문제는 무엇인가?

주요 결과

• 챗지피티와 빙 검색은 반복적인 대화와 설명을 구하는 상호작용을 통해 학생들이 반성적·비판적 사고를 발달시키는 데 효과적으로 기여하였다.
• 학생들은 질문 제기와 가설 검증을 통해 복잡한 과학·기술·공학·수학 개념을 탐색함으로써 AI를 활용할 때 개념 이해도 향상을 보였다.
• 빠른 아이디어 프로토타이핑과 다양한 해결 경로 탐색을 가능하게 하여 도구들이 창의성과 문제 해결 능력을 향상시켰다.
• 상호작용 기록을 통해 학생들이 AI를 지각적 구성의 지원 도구로 활용할 때 콘텐츠에 더 깊이 관여하는 것으로 나타났다.
• 장점에도 불구하고, 특히 사실 오류를 포함한 AI 생성 정보의 신뢰성과 정확성에 대한 우려가 제기되었다.
• AI 기반 학습에서 인간 상호작용 감소가 관찰되어 협업 학습 활동과의 체계적 통합이 필요하다는 점이 제기되었다.