[論文レビュー] AI and Education: An Investigation into the Use of ChatGPT for Systems Thinking

Holger Arndt|arXiv (Cornell University)|Jul 26, 2023

Complex Systems and Decision Making被引用数 7

ひとこと要約

本研究は、一般および分野固有のプロンプトを用いて、多様な学術分野におけるシステム思考（ST）支援の観点からChatGPTの能力を調査する。結果は、ChatGPTが正確で役立ち、信頼性のある回答を提供することを示しており、STの教育的ツールとしての強力な潜在能力を示しているが、偶発的な誤りがあるため、ユーザーは常に批判的でいなければならない。

ABSTRACT

This exploratory study investigates the potential of the artificial intelligence tool, ChatGPT, to support systems thinking (ST) in various subjects. Using both general and subject specific prompts, the study assesses the accuracy, helpfulness, and reliability of ChatGPT's responses across different versions of the tool. The results indicate that ChatGPT can provide largely correct and very helpful responses in various subjects, demonstrating its potential as a tool for enhancing ST skills. However, occasional inaccuracies highlight the need for users to remain critical of ChatGPT's responses. Despite some limitations, this study suggests that with careful use and attention to its idiosyncrasies, ChatGPT can be a valuable tool for teaching and learning ST.

研究の動機と目的

• さまざまな教科における教育的文脈において、ChatGPTがシステム思考（ST）をどの程度支援できるかを検討すること。
• 一般および分野固有のプロンプトを用いて、ChatGPTの回答の正確性、有用性、信頼性を評価すること。
• 大規模言語モデル（例：ChatGPT）をST指導に統合する際の制限要因とユーザーの配慮事項を特定すること。
• AIツール（例：ChatGPT）が、学生のシステム思考スキルの習得を効率的かつインタラクティブに支援する可能性を評価すること。

提案手法

• 本研究は、システム思考の反応を引き出すために設計された多様なプロンプトを用いた定性的探索的アプローチを採用した。
• プロンプトは、一般STタスクと分野別応用（例：科学、社会科、道徳）に分類された。
• 複数のChatGPTバージョンからの回答を、フィードバックループや相互関係性といったシステム思考の原則との整合性、一貫性、深さの観点から分析した。
• 評価基準には正確性、有用性、信頼性が含まれ、事実の整合性と概念的妥当性に特に注目した。
• 異なる教科分野における回答品質のパターンと一般的な誤りタイプの特定に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、システム思考の原則を反映する正確で概念的に整合性のある回答をどの程度生成できるか？
• RQ2 ChatGPTの回答の質と信頼性は、異なる学術分野でどのように変動するか？
• RQ3 ChatGPTのシステム思考の回答で頻発する誤りや不整合のタイプは何か？
• RQ4 教育者がChatGPTの出力を批判的に評価し、ST指導に効果的に統合するにはどうすればよいか？

主な発見

• ChatGPTは、フィードバックループや相互依存性の特定を含め、システム思考の原則と強く整合する回答を一貫して生成した。
• 多様な教科にわたり、的確で一貫性のある回答を提供しており、教育現場への広範な適用可能性を示している。
• 大多数の回答は事実的に正確であったが、複雑またはニュアンスの難しい分野では偶発的な誤りが観察された。
• ChatGPTの異なるバージョン間で回答の質にわずかな差が見られたため、モデルの反復的改善がパフォーマンスに影響を与える可能性がある。