[論文レビュー] Elucidating STEM Concepts through Generative AI: A Multi-modal Exploration of Analogical Reasoning

Chen Cao, Zijian Ding+4 more|arXiv (Cornell University)|Aug 21, 2023

Topic Modeling被引用数 9

ひとこと要約

本論文は、GPT-4を用いてSTEM概念から類推とビジュアルストーリーボードを生成し、理解と参加を高めるアニメーション動画を作成するAI主導のマルチモーダルシステムを提案する。予備的で非経験的な検証を伴う。

ABSTRACT

This study explores the integration of generative artificial intelligence (AI), specifically large language models, with multi-modal analogical reasoning as an innovative approach to enhance science, technology, engineering, and mathematics (STEM) education. We have developed a novel system that utilizes the capacities of generative AI to transform intricate principles in mathematics, physics, and programming into comprehensible metaphors. To further augment the educational experience, these metaphors are subsequently converted into visual form. Our study aims to enhance the learners' understanding of STEM concepts and their learning engagement by using the visual metaphors. We examine the efficacy of our system via a randomized A/B/C test, assessing learning gains and motivation shifts among the learners. Our study demonstrates the potential of applying large language models to educational practice on STEM subjects. The results will shed light on the design of educational system in terms of harnessing AI's potential to empower educational stakeholders.

研究の動機と目的

• 抽象的なSTEM概念の教育における動機づけと課題への対応を、類推とビジュアルを通して行う。
• STEM概念から直感的な類推を自動生成するシステムを開発する。
• 選択した類推を視覚的ストーリーボードとアニメーション動画に変換して学習を支援する。
• 理解と関与を高めるために、マルチメディア学習理論に基づいてアプローチを位置づける。

提案手法

• 特定のSTEM概念に対してGPT-4を用いて3つの類推を生成する。
• 選択した類推をもとに物語を作成し、説明付きの4枚の画像のストーリーボードを作成する。
• ストーリーボードのビジュアルをアニメーション付きの教育動画に変換する。
• 設計をメイヤーのマルチメディア学習理論、パイヴィオの二重コード理論、ピアジェ派の構成主義に基づいて確立する。

Figure 1: Visual analogy for water pressure/current and electric voltage/current with prompt ”Water flows through a narrow tube connected between two water tanks, one tank having significantly more water than the other.” Only the image in the top right corner (the second one) displayed two water tan

実験結果

リサーチクエスチョン

• RQ1 AI生成の類推は学習者が複雑なSTEM概念をどれだけ効果的に理解させることができるか？
• RQ2 テキスト類推 → ビジュアルストーリーボード → アニメーションというマルチモーダルパイプラインは理解と関心を改善できるか？
• RQ3 類推の正確で包括的な視覚表現を生成する際の実際的な課題は何か？
• RQ4 このアプローチは実践において確立されたマルチメディア学習理論と認知理論に適合するか？

主な発見

• 予備的なコンテンツ生成は、GPT-4がSTEMトピックに関する有益なテキスト類推を生成できることを示している。
• 視覚的類推の生成は、多部構成概念のすべての要素を描写する際に課題を抱える。
• 動的な視覚類推は実現可能だが、意味のある遷移を設計するのは難しい。
• 著者らは学習成果と関与を評価するために学習者ベースの実証的研究の必要性を指摘している。
• このプロトタイプは、コンピュータサイエンスを超えたマルチモーダルAI支援教育の拡大の可能性を示している。

Figure 2: Initiate a process by inputting a specific STEM concept like “Newton’s First Law”. Validate its definition, followed by generating three distinct analogies for comprehensive understanding. Subsequently, select a preferred analogy to create a detailed, four-scene storyboard, complete with v