[論文レビュー] Innovating Computer Programming Pedagogy: The AI-Lab Framework for Generative AI Adoption

Ethan Dickey, Andres Bejarano+1 more|arXiv (Cornell University)|Aug 23, 2023

Software Engineering Research被引用数 4

ひとこと要約

本論文では、生成AI（GenAI）を基礎的なプログラミング課程に責任感を持って統合するのを支援する教育的モデル「AI-Labフレームワーク」を紹介する。プロンプト工学、エラー検出、GenAI出力の批判的評価に焦点を当てることで、問題解決やアルゴリズム的思考といったコアスキルの習得を維持しつつ、過剰依存のリスクを低減する。その効果は、介入後の学生のGenAI信頼性に関する認識の変化からも裏付けられている。

ABSTRACT

Over the last year, the ascent of Generative AI (GenAI) has raised concerns about its impact on core skill development, such as problem-solving and algorithmic thinking, in Computer Science students. Preliminary anonymous surveys show that at least 48.5% of our students use GenAI for homework. With the proliferation of these tools, the academic community must contemplate the appropriate role of these tools in education. Neglecting this might culminate in a phenomenon we term the "Junior-Year Wall," where students struggle in advanced courses due to prior over-dependence on GenAI. Instead of discouraging GenAI use, which may unintentionally foster covert usage, our research seeks to answer: "How can educators guide students' interactions with GenAI to preserve core skill development during their foundational academic years?" We introduce "AI-Lab," a pedagogical framework for guiding students in effectively leveraging GenAI within core collegiate programming courses. This framework accentuates GenAI's benefits and potential as a pedagogical instrument. By identifying and rectifying GenAI's errors, students enrich their learning process. Moreover, AI-Lab presents opportunities to use GenAI for tailored support such as topic introductions, detailed examples, corner case identification, rephrased explanations, and debugging assistance. Importantly, the framework highlights the risks of GenAI over-dependence, aiming to intrinsically motivate students towards balanced usage. This approach is premised on the idea that mere warnings of GenAI's potential failures may be misconstrued as instructional shortcomings rather than genuine tool limitations. Additionally, AI-Lab offers strategies for formulating prompts to elicit high-quality GenAI responses. For educators, AI-Lab provides mechanisms to explore students' perceptions of GenAI's role in their learning experience.

研究の動機と目的

• 基礎的なコンピュータサイエンス課程において、生成AIが問題解決やアルゴリズム的思考といったコアプログラミングスキルを損なう懸念が高まっているのを是正すること。
• 初期学期にGenAIに過剰に依存することで、上級課程で困難を抱える「ジュニアイヤーウォール」現象に対処すること。
• 教育者に、GenAIを学術的誠実性のリスクから、構造的な教育的統合を通じて建設的な学習ツールへと転換するための支援を提供すること。
• プロンプトの洗練、エラー検出、文脈理解の強調により、学生のGenAI認識を「抜け道」から「批判的思考の支援」へとシフトさせること。
• 実証的アンケートデータに基づき、教育者が学生のGenAIの学習における役割に関する認識を評価・形成するためのツールを提供すること。

提案手法

• AI-Labフレームワークは、GenAIを段階的な学習パートナーとして統合し、学生がトピックの導入、コード例の提供、端境ケースの特定、説明の再表現、デバッグ支援にGenAIを使用することを奨励する。
• より高品質で正確なGenAI出力を得るために、学生に体系的なプロンプト工学技術を教育し、誤りや幻覚の発生を低減する。
• GenAI出力の批判的評価を重視し、エラーの検出と是正を訓練することで、GenAIの活用を受動的ではなく能動的な学習プロセスへと転換する。
• 教育者は、介入前後におけるアンケートを用いて、学生のGenAI信頼性や使用パターンに関する認識の変化を評価する。
• GenAIの使用を構造的なコースワークに統合することで、認知的スキルの発達を補助するが置き換えるものではないことを保証する。
• 一律な禁止を避ける一方で、GenAIの限界と長所についての透明性を提供することで、内発的動機付けを促進する。

実験結果

リサーチクエスチョン

• RQ1 教育者はどのようにして、生成AIを問題解決やアルゴリズム的思考といったコアプログラミングスキルを維持する形で活用できるように学生を導けるか？
• RQ2 構造的なGenAI統合が、学生の信頼性認識や過剰依存の傾向に与える影響は何か？
• RQ3 GenAIを個人に合わせた支援ツールとして活用する方法は何か？ ただし、基礎的学習を損なわないようにする。
• RQ4 プログラミング教育における効果的なGenAI活用の中心的要素として、プロンプト工学とエラー検出をどのように教えることができるか？
• RQ5 学生の認識が、責任あるGenAIの採用に果たす役割は何か？ そして教育者は、その認識を建設的にどのように影響できるか？

主な発見

• AI-Labフレームワークを導入後、GenAIを「非常に信頼できる」と評価した学生の割合は、5段階評価尺度の5点で6.9％に上昇し、前回アンケートの2.8％から明確なシフトが確認された。これは、GenAIの有用性に対する信頼感の向上を示している。
• GenAIを「非常に信頼できない」と評価した学生の割合は、0％から10.3％に上昇し、指導付きの使用によって出力に対する信頼感が高まったことが示唆された。
• 37.1％の学生が、同級生のGenAI使用状況について不確実であると回答し、学術的環境における曖昧なまたは報告されていないツール使用の広がりを示している。
• このフレームワークにより、学生の認識はGenAIを「抜け道」と見るのではなく、「批判的評価と洗練を要するツール」と見る方向へとシフトした。
• AI-Labフレームワークに参加した学生は、GenAIが生成したエラーを識別・是正する能力が向上し、受動的な受容ではなく能動的な認知的関与が強化された。
• 本研究は、構造的なGenAI統合が、初期学期からメタ認知的スキルと責任あるツール使用を育むことで、「ジュニアイヤーウォール」のリスクを低減できることを確認した。