[論文レビュー] Enhancing Chemistry Learning with ChatGPT and Bing Chat as Agents to Think With: A Comparative Case Study

Renato P. dos Santos|arXiv (Cornell University)|May 12, 2023

AI in Service Interactions被引用数 6

ひとこと要約

本研究では、生成的AIチャットボット（ChatGPTとBing Chat）が化学教育における「思考の補助者」としてどのように機能するかを、構成主義的フレームワークとソクラテス的質問法を用いて調査した。結果として、ChatGPTは多様な化学分野において、より正確で詳細かつ文脈的に洗練された説明を提供し、Bing Chatを上回る応答品質を示した。

ABSTRACT

This study explores the potential of Generative AI chatbots (GenAIbots) such as ChatGPT and Bing Chat, in Chemistry education, within a constructionist theoretical framework. A single-case study methodology was used to analyse extensive interaction logs between students and both AI systems in simulated Chemistry learning experiences. The results highlight the ability of ChatGPT and Bing Chat to act as 'agents-to-think-with', fostering critical thinking, problem-solving, concept comprehension, creativity, and personalised learning experiences. By employing a Socratic-like questioning approach, GenAIbots nurture students' curiosity and promote active learning. The study emphasises the significance of prompt crafting, a technique to elicit desired responses from GenAIbots, fostering iterative reflections and interactions. It underlines the need for comprehensive educator training to effectively integrate these tools into classrooms. The study concludes that while ChatGPT and Bing Chat as agents-to-think-with offer promising avenues to revolutionise STEM education through a constructionist lens, fostering a more interactive, inclusive learning environment and promoting deeper comprehension and critical thinking in students across diverse Chemistry topics, ChatGPT consistently outperformed Bing Chat, providing more comprehensive, detailed, and accurate responses and skillfully addressing nuances and context.

研究の動機と目的

• 生成的AIチャットボット（ChatGPTとBing Chat）が化学学習における認知的パートナーとして果たす役割を検討すること。
• ソクラテス的質問法とプロンプト設計が学生の関与度と概念的理解に与える影響を評価すること。
• ChatGPTとBing Chatが化学教育における批判的思考、問題解決、パーソナライズド・ラーニングを促進する上で、それぞれのパフォーマンスを比較すること。
• STEMの教室へのGenAIツール統合における主な課題と機会を特定すること。
• 科学教育におけるAIエージェントの効果的導入を支援する教員研修戦略を示唆すること。

提案手法

• 単一事例研究の手法を採用し、模擬化学学習シナリオにおける学生と両AIシステム間の広範な対話ログを分析した。
• 学生は、化学的概念を探索するために、反復的で対話形式のSocratic questioning技法を用いて対話に参加した。
• AIの応答がより深い推論、明確さ、文脈的正確性に向かうよう、プロンプト設計を体系的に行なった。
• 構成主義的学習フレームワークが設計の根拠となり、AIエージェントとの対話による能動的知識構築を重視した。
• ChatGPTとBing Chatの応答品質を比較分析し、包括性、正確性、詳細さ、文脈的関連性の観点から評価した。
• 対話ログは定性的に分析され、認知的関与、概念的発展、メタ認知的反省の度合いを評価した。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTとBing Chatは、化学学習の文脈においてどのように『思考の補助者』として機能するか？
• RQ2 ソクラテス的質問法とプロンプト設計は、学生の批判的思考と概念的理解をどの程度向上させるか？
• RQ3 化学分野の多様なトピックにおいて、ChatGPTとBing Chatの応答品質（正確性、詳細さ、文脈的ニュアンス）はどのように比較されるか？
• RQ4 これらのAI対話は、パーソナライズドかつ包括的なSTEM教育にどのような意味を持つのか？
• RQ5 教員は、化学教室におけるGenAIツールの統合を効果的に行うために、どのような訓練と支援を必要とするか？

主な発見

• ChatGPTは、多様な化学分野において、Bing Chatに比べ、より包括的で詳細かつ文脈的に正確な応答を一貫して提供した。
• 両AIシステムは、ソクラテス的質問法を用いたプロンプトによって、批判的思考と問題解決を効果的に支援した。
• プロンプト設計は、AI生成の説明の質と関連性を顕著に向上させ、反復的で深い学びの促進に寄与した。
• 構成主義的フレームワークは、AIを認知的パートナーとして位置づけるのに成功し、能動的関与と概念的構築を促進した。
• 適切に設計されたプロンプトを用いてAIエージェントと対話した学生は、概念的理解と創造性の両方を向上させた。
• ChatGPTの優れたパフォーマンスは、高度な推論能力と、複雑な科学的文脈への優れた対応力に起因するとされた。