[論文レビュー] The Robots are Here: Navigating the Generative AI Revolution in Computing Education

James Prather, Paul Denny+13 more|arXiv (Cornell University)|Oct 1, 2023

Teaching and Learning Programming参考文献 150被引用数 8

ひとこと要約

包括的な作業部会報告書で、文献、利害関係者の態度、教育法の移行、倫理、再現性、ベンチマーク結果を統合し、大規模言語モデル（LLMs）を計算機教育に適用する。71件の一次論文をレビューし、20か国を対象に調査し、教育者インタビュー、倫理的枠組み、パフォーマンスのベンチマークを含む。

ABSTRACT

Recent advancements in artificial intelligence (AI) are fundamentally reshaping computing, with large language models (LLMs) now effectively being able to generate and interpret source code and natural language instructions. These emergent capabilities have sparked urgent questions in the computing education community around how educators should adapt their pedagogy to address the challenges and to leverage the opportunities presented by this new technology. In this working group report, we undertake a comprehensive exploration of LLMs in the context of computing education and make five significant contributions. First, we provide a detailed review of the literature on LLMs in computing education and synthesise findings from 71 primary articles. Second, we report the findings of a survey of computing students and instructors from across 20 countries, capturing prevailing attitudes towards LLMs and their use in computing education contexts. Third, to understand how pedagogy is already changing, we offer insights collected from in-depth interviews with 22 computing educators from five continents who have already adapted their curricula and assessments. Fourth, we use the ACM Code of Ethics to frame a discussion of ethical issues raised by the use of large language models in computing education, and we provide concrete advice for policy makers, educators, and students. Finally, we benchmark the performance of LLMs on various computing education datasets, and highlight the extent to which the capabilities of current models are rapidly improving. Our aim is that this report will serve as a focal point for both researchers and practitioners who are exploring, adapting, using, and evaluating LLMs and LLM-based tools in computing classrooms.

研究の動機と目的

• 2023年8月までのLLMsに関する計算機教育の研究状況を要約する。
• 教育におけるLLMsに対する学生と講師の国際的な態度を把握する。
• LLMsの影響を受けた教育的アプローチとカリキュラムの適応を特定する。
• ACM Code of Ethicsを用いて倫理と方針の検討を行う。
• 計算機教育データセット上でのLLM性能をベンチマークし、実務への示唆を議論する。

提案手法

• 2023年8月までのLLMsに関する計算機教育の論文のスコーピング・リテラチャー・レビューを実施する。
• 網羅的な関連研究を特定するための前向き・後向きスノーボール法を実施する。
• 文献をカテゴリに分類する（パフォーマンス評価、教材、学生の作業分析、プログラマ−LLM相互作用、調査）。
• 20か国の学生と講師の国際調査を組み込む。
• 5大大陸の計算機教育者22名への深掘りインタビューを実施する。
• 倫理的議論をACM Code of Ethicsで枠組み化し、政策/実務の提言を提供する。
• 新しいLLMsを使って prior workを再現し、再現性を評価しデータセットを記述する。

Figure 1 . Phases of the literature review.

実験結果

リサーチクエスチョン

• RQ1 2023年半ば時点でのLLMsに関する計算機教育の研究の現状と範囲はどのようか。
• RQ2 複数国の学生と講師は計算機教育におけるLLMsをどう認識・採用しているか。
• RQ3 LLMsの能力によって生まれる教育実践とカリキュラムの適応は何か。
• RQ4 計算機教育におけるLLMsの使用から生じる倫理的配慮は何か、機関はそれにどう対処しているか。
• RQ5 現代のLLMsは計算機教育データセットでどの程度の性能を示し、今後の実務に何を示唆するか。

主な発見

• LLMsはコード作成を平均的な学生レベル以上で生成できる場合があるが、特定のMCQや概念的問題では劣ることがある。
• LLMsは誤りの説明、個別化された教材、Prompt Problemsのような新しい問題タイプの提供といった潜在的利点を持つ。
• 倫理性と正直性の懸念が顕著で、LLM生成テキスト検出器は偽検出が起こりやすい；方針の指針が必要。
• 教育者はカリキュラムの適応において利点と課題の両方を報告し、より自律的で個別化された学習体験へと傾向がある。
• 文献は急速に進化しており、71件の論文を特定（フィルタ後38件）、arXiv配信の研究へと強くシフトしており、分野の急速な進展を示している。

Figure 2 . Summaries of the survey responses from 171 students and 57 instructors: 1) Students’ and instructors’ perspectives were compared along likert scale responses, 2) students ranked their help seeking preferences from 1 to 6, and 3) instructors shared their beliefs about the ethical use of Ge