[論文レビュー] Enhancing Physics Learning with ChatGPT, Bing Chat, and Bard as Agents-to-Think-With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|Jun 1, 2023

Artificial Intelligence in Healthcare and Education被引用数 8

ひとこと要約

単一事例研究で4つの GenAI チャットボット（ChatGPT-3.5、ChatGPT-4、Bing Chat、Bard）を物理学学習におけるエージェントとして比較し、学生を模擬した対話ログを分析して共感、教科知識、学習過程の理解を評価する。

ABSTRACT

The rise of AI has brought remarkable advancements in education, with AI models demonstrating their ability to analyse and provide instructive solutions to complex problems. This study compared and analysed the responses of four Generative AI-powered chatbots (GenAIbots) - ChatGPT-3.5, ChatGPT-4, Bing Chat, and Bard - within the constructivist theoretical framework. Using a single-case study methodology, interaction logs between the GenAIbots and a simulated student in Physics learning scenarios were analysed. The GenAIbots were presented with conceptually dense Physics problems to promote deep understanding. The qualitative analysis focused on tutor traits such as subject-matter knowledge, empathy, assessment emphasis, facilitation skills, and comprehension of the learning process. Findings showed that all GenAIbots functioned as agents-to-think-with, fostering critical thinking, problem-solving, and subject-matter knowledge. ChatGPT-4 stood out for demonstrating empathy and a deep understanding of the learning process. However, inconsistencies and shortcomings were observed, highlighting the need for human intervention in AI-assisted learning. In conclusion, while GenAIbots have limitations, their potential as agents-to-think-with in Physics education offers promising prospects for revolutionising instruction.

研究の動機と目的

• 物理学学習におけるエージェントとして GenAI チャットボットが構成主義枠組みの下でどのように機能するかを調査する。
• 4つの GenAI ボットと模擬物理学生との対話ログを分析し、指導特性を評価する。
• 各チャットボットが批判的思考、問題解決、教科知識の促進における強みと限界を特定する。
• 人間の介入の含意と GenAIボットが物理教育を変革する潜在力を明らかにする。

提案手法

• GenAI ボットと模擬学生との物理学習シナリオにおける対話ログを用いた単一事例研究。
• 指導者特性（教科知識、共感、評価の強調、ファシリテーション能力、学習過程の理解）に焦点を当てた定性的分析。
• 4つの GenAI ボット（ChatGPT-3.5、ChatGPT-4、Bing Chat、Bard）間の比較。
• 概念的に密度の高い物理問題を通じた深い理解を促進する能力の評価。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT-3.5、ChatGPT-4、Bing Chat、Bard は物理学習においてどのようなエージェントとして思考をともにする存在として機能するか？
• RQ2 各 GenAI ボットが示す指導特性（知識、共感、評価の強調、ファシリテーション、学習過程の理解）は何か？
• RQ3 物理学における批判的思考と問題解決の促進における各 GenAI ボットの強みと限界は何か？
• RQ4 AI支援の物理教育を支えるために人間の介入がどの程度必要か？

主な発見

• すべての GenAI ボットは思考をともにするエージェントとして機能し、批判的思考、問題解決、教科知識の習得を促進した。
• ChatGPT-4 は共感と学習過程の深い理解を示す点で抜きんでていた。
• ボット間で一貫性の欠如と不足が観察され、AI支援型学習には人間の監督が必要であることを示唆している。
• GenAI ボットは物理教育を革新する潜在力を持つが、限界と適切な人間サポートの検討が必要である。