[論文レビュー] Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning

Atharva Naik, Jessica Ruhan Yin+7 more|arXiv (Cornell University)|Apr 28, 2024

Innovative Teaching and Learning MethodsPsychology被引用数 3

ひとこと要約

本研究では、クラウドコンピューティングの授業における共同SQLクエリ最適化の過程で、文脈に応じた反映の促しを生成するAIシステムを開発・評価した。ChatGPTをオンラインプログラミング環境と統合することで、動的な、議論に特化したプロンプトを生成し、概念的理解を高めるようにしたが、34名のパイロット実験では、ベースラインの共同作業と比較して有意な学習向上が得られなかった。これは、参加者の関与度が低く、実験群の前後テスト得点の分散が高かったことが原因であると考えられる。

ABSTRACT

An advantage of Large Language Models (LLMs) is their contextualization capability - providing different responses based on student inputs like solution strategy or prior discussion, to potentially better engage students than standard feedback. We present a design and evaluation of a proof-of-concept LLM application to offer students dynamic and contextualized feedback. Specifically, we augment an Online Programming Exercise bot for a college-level Cloud Computing course with ChatGPT, which offers students contextualized reflection triggers during a collaborative query optimization task in database design. We demonstrate that LLMs can be used to generate highly situated reflection triggers that incorporate details of the collaborative discussion happening in context. We discuss in depth the exploration of the design space of the triggers and their correspondence with the learning objectives as well as the impact on student learning in a pilot study with 34 students.

研究の動機と目的

• 共同プログラミングタスクの過程で、動的で文脈に敏感な反映の促しを提供する生成AIシステムを設計・実装すること。
• LLMがリアルタイムの学生の議論やコード入力に応じて、カスタマイズされた代替的解決経路を生成できるかを検討すること。
• AI生成の反映の促しの効果が、コンピュータ支援共同学習（CSCL）環境における学生の学習に与える影響を評価すること。
• マルチモーダルな学生の入力（コードとチャット）を活用して、パーソナライズ化を図ることで、従来の静的または一般的なサポートの限界を克服すること。
• 共同学習環境におけるAI生成フィードバックの関与度、一貫性、読みやすさに関する設計上の課題を特定すること。

提案手法

• 大学レベルのクラウドコンピューティングの授業で既存のオンラインプログラミング演習（OPE）ボットにChatGPTを統合した。
• 学生の入力、議論の文脈、学習目標に基づいて、代替のコード寄与を生成するためのプロンプト工学フレームワークを設計した。
• 共同議論およびコードの特定の側面を参照しながら、異なる解決経路を示唆するような、反映の促しを生成するようにLLMを訓練した。
• 34名の学生を対象に制御された実験を実施し、AI生成の促しを受けた実験群と、標準的な共同作業支援を受けた対照群を比較した。
• 前後テストのデータを収集し、学習目標と段階を要因として、分散分析（ANOVA）を用いて学習の向上を分析した。前テスト得点を共変量として用いて、初期差を補正した。
• 学生およびTAから、反映の促しの使いやすさと関与度に関する質的フィードバックを収集した。

実験結果

リサーチクエスチョン

• RQ1 LLMは、共同プログラミングタスクの過程で、文脈的に関連性のある反映の促しを生成し、代替的解決経路を示すことができるか？
• RQ2 AI生成の状況に即した反映の促しは、共同SQL最適化タスクにおける学生の学習成果にどのように影響するか？
• RQ3 リアルタイムの共同学習環境にAI生成フィードバックを導入する際の主な使いやすさと関与度の課題は何か？
• RQ4 事前の知識を補正した上で、AI生成の反映の促しは、標準的な共同作業支援に比べて学習をどの程度改善するか？
• RQ5 学生およびTAは、AI生成の反映プロンプトの関連性、明確さ、有用性をどのように評価しているか？

主な発見

• すべての学習目標において、前テストと後テストの間で学生に顕著な学習の向上が認められ、効果量は小さかった（Cohen’s d = 0.18σ）。これは、活動自体が学習を促したことを示している。
• 実験群の前テスト得点が対照群よりも有意に高かったため、分析が歪められ、処置効果を検出する統計的パワーが低下した。
• 学習目標、段階、反映条件の三要因間の交互作用は有意でなく、AI生成の促しに学習目標ごとの差別の利益が見られなかった。
• 問題レベルでの分析から、インデックス化とデノーマライゼーションに関する質問で、継続的に50％未満の正答率が見られた。これは、複雑で読みにくい選択肢のためと考えられる。
• 学生およびTAは、一部の反映の促しが混乱を招き、進行中の議論から切り離されたように感じられ、読解に適した長さではなく、効果的に読めなかったと報告した。
• 本研究では、以下の3つの主要な制限を特定した：関与度の低さ、プロンプトの文脈的一致性の欠如、および長すぎるメッセージ長による読みやすさの欠如。今後の研究でこれらを解決する予定である。