[논문 리뷰] Elucidating STEM Concepts through Generative AI: A Multi-modal Exploration of Analogical Reasoning

Chen Cao, Zijian Ding외 4명|arXiv (Cornell University)|2023. 08. 21.

Topic Modeling인용 수 9

한 줄 요약

본 논문은 STEM 개념에서 유래하는 유추와 시각적 스토리보드를 생성하고, GPT-4를 사용해 애니메이션 비디오를 제작하는 AI 주도 다중모달 시스템을 제시하여 이해도와 참여도를 높이고, 예비적이고 비실증(non-empirical) 테스트를 수행한다.

ABSTRACT

This study explores the integration of generative artificial intelligence (AI), specifically large language models, with multi-modal analogical reasoning as an innovative approach to enhance science, technology, engineering, and mathematics (STEM) education. We have developed a novel system that utilizes the capacities of generative AI to transform intricate principles in mathematics, physics, and programming into comprehensible metaphors. To further augment the educational experience, these metaphors are subsequently converted into visual form. Our study aims to enhance the learners' understanding of STEM concepts and their learning engagement by using the visual metaphors. We examine the efficacy of our system via a randomized A/B/C test, assessing learning gains and motivation shifts among the learners. Our study demonstrates the potential of applying large language models to educational practice on STEM subjects. The results will shed light on the design of educational system in terms of harnessing AI's potential to empower educational stakeholders.

연구 동기 및 목표

• 추상적인 STEM 개념을 비유와 시각화를 통해 가르치는 데 있어 동기를 부여하고 도전과제를 해결한다.
• STEM 개념으로부터 직관적인 비유를 자동으로 생성하는 시스템을 개발한다.
• 선정된 비유를 학습을 지원하기 위한 시각적 스토리보드와 애니메이션 비디오로 변환한다.
• 이 접근법을 멀티미디어 학습 이론에 기초시켜 이해도와 참여를 증진한다.

제안 방법

• 주어진 STEM 개념에 대해 GPT-4를 사용하여 세 가지 비유를 생성한다.
• 선정된 비유로부터 이야기를 구성하여 설명이 포함된 네 장의 이미지로 된 스토리보드를 만든다.
• 스토리보드 비주얼을 애니메이션 교육 비디오로 변환한다.
• 설계의 기반을 Mayer의 멀티미디어 학습 이론, Paivio의 이중 부호화 이론, 그리고 Piaget의 구성주의에 두어야 한다.

Figure 1: Visual analogy for water pressure/current and electric voltage/current with prompt ”Water flows through a narrow tube connected between two water tanks, one tank having significantly more water than the other.” Only the image in the top right corner (the second one) displayed two water tan

실험 결과

연구 질문

• RQ1 AI로 생성된 비유가 학습자가 복잡한 STEM 개념을 이해하는 데 얼마나 효과적으로 도움이 될 수 있는가?
• RQ2 다중모달 파이프라인(text analogies → visual storyboard → animation)이 이해도와 참여를 향상시킬 수 있는가?
• RQ3 비유의 정확하고 포괄적인 시각적 표현을 생성하는 데 실질적인 도전과제는 무엇인가?
• RQ4 실제로 이 접근법이 확립된 멀티미디어 학습 및 인지 이론과 일치하는가?

주요 결과

• 예비 콘텐츠 생성은 GPT-4가 STEM 주제에 대한 정보성 텍스트 비유를 생성할 수 있음을 보여준다.
• 시각적 비유 생성은 다부분 개념의 모든 구성요소를 묘사하는 데 어려움을 겪는다.
• 동적 시각 비유는 가능하지만 의미 있는 전환 설계에 어려움이 있다.
• 저자들은 학습 결과와 참여를 평가하기 위한 학습자 기반의 실증 연구 필요성을 확인한다.
• 프로토타입은 컴퓨터 과학을 넘어 다중모달 AI 지원 교육학을 확장할 잠재력을 보여준다.

Figure 2: Initiate a process by inputting a specific STEM concept like “Newton’s First Law”. Validate its definition, followed by generating three distinct analogies for comprehensive understanding. Subsequently, select a preferred analogy to create a detailed, four-scene storyboard, complete with v