[論文レビュー] Enhancing Chemistry Learning with ChatGPT, Bing Chat, Bard, and Claude as Agents-to-Think-With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|Oct 23, 2023

Online Learning and Analytics被引用数 4

ひとこと要約

本研究では、模擬的な学生との対話を通じて内容分析を実施し、化学教育におけるChatGPT、Bing Chat、Bard、Claudeを『思考の補助者』としての観点から比較した事例研究である。ChatGPTは文脈理解、批判的思考、ソクラテス的問いかけにおいて他者を上回り、動的でパーソナライズされた対話による学習の向上可能性が顕著に示された。

ABSTRACT

This research delves into the comparative advantages of Generative AI chatbots (GenAIbots) -- ChatGPT, Bing Chat, Bard, and Claude -- in the context of Chemistry education, framed within a constructivist perspective. Our primary objective was to identify which of these four AI tools is more effective for enhancing Chemistry learning. Employing a single-case study approach, we scrutinised interaction logs between the AI systems and a simulated student persona during Chemistry learning simulations, incorporating Content Analysis methodology to delve deeper into the discourse. Our findings underscore these tools' potential as "agents-to-think-with", enhancing critical thinking, problem-solving, comprehension, creativity, and tailored learning. Especially noteworthy is their ability to stimulate learners through Socratic-like questioning, aligning with constructionist principles. The research emphasises the pivotal role of prompt crafting to coax desired responses from GenAIbots, engendering iterative reflections. It also highlights the need for robust educator training to infuse these technologies into educational settings. Conclusively, while ChatGPT, Bing Chat, Bard, and Claude are poised to enrich Chemistry education by fostering dynamic, inclusive learning experiences, ChatGPT stood out, decisively surpassing Bing Chat in its performance. Bard and Claude trailed closely, with all three showcasing a more in-depth, precise, and nuanced understanding, underscoring ChatGPT's adeptness at contextual comprehension.

研究の動機と目的

• 4つの生成的AIチャットボット（ChatGPT、Bing Chat、Bard、Claude）が化学学習を強化するツールとしての有効性を評価すること。
• これらのAIシステムが、構成主義的学習フレームワークにおいて、批判的思考、問題解決、理解を支援する『思考の補助者』としてどのように機能するかを明らかにすること。
• 生成的AIが教育的文脈で高品質で洗練された応答を引き出すために、プロンプト工学が果たす役割を同定すること。
• 教育者へのトレーニングや公式な化学指導へのAIツール統合に及ぼす影響を評価すること。
• パーソナライズドで探求型の化学学習を支援するうえで、最も効果的な支援を提供するAIモデルを特定すること。

提案手法

• 模擬的な学生の人物像を用いた単一事例研究を実施し、化学学習タスクに従事させた。
• AIモデルと模擬学習者との間の対話ログを分析することで、対話パターンと応答の質を評価した。
• 内容分析法を用い、AIが生成した応答の深さ、正確性、教育的価値を体系的に評価した。
• 評価の主な次元として、ソクラテス的問いかけ、文脈理解、応答の正確性に焦点を当てた。
• 反復的なプロンプト最適化を実施し、プロンプト作成がAIのパフォーマンスと応答品質に与える影響を評価した。
• 化学教育における反復的思考の促進、創造性の育成、問題解決支援の能力に基づき、モデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPT、Bing Chat、Bard、Claudeは、化学学習タスクを支援する『思考の補助者』として、どのように機能するか？
• RQ2 どのAIモデルが、批判的思考と概念的理解を促進するために、最も効果的にソクラテス的問いかけを実施しているか？
• RQ3 プロンプト工学は、教育的文脈における生成的AIの応答の質と深さに、どの程度影響を及ぼすか？
• RQ4 模擬的な化学学習において、これらのモデルは文脈理解、正確性、学習者ニーズへの適応性の面で、どのように比較されるか？
• RQ5 これらの発見は、生成的AIを公式な化学教育および教員研修に統合するうえで、どのような意味を持つのか？

主な発見

• 化学学習シミュレーションにおいて、ChatGPTは文脈理解、応答の深さ、教育的効果性の面でBing Chatを顕著に上回った。
• BardとClaudeはBing Chatよりもより洗練され、正確で洗練された応答を提供したが、ChatGPTほどの一貫性は見られなかった。
• 4つのモデルすべてが『思考の補助者』としての強力な潜在能力を示し、対話的なやり取りを通じて批判的思考、問題解決、創造性を高める可能性を有していた。
• ソクラテス的問いかけは、ChatGPTが最も効果的に実施しており、構成主義的学習原理と密接に一致していた。
• プロンプト作成が、生成的AIモデルから高品質で反映的かつ正確な応答を引き出す上で、決定的な要因であることが同定された。
• 本研究は、これらのAIツールを化学教室に効果的に統合し、学習の潜在能力を最大限に引き出すために、教育者へのトレーニングの必要性を強調している。