[論文レビュー] Computing Education in the Era of Generative AI

Paul Denny, James Prather+8 more|arXiv (Cornell University)|Jun 5, 2023

Software Engineering Research被引用数 10

ひとこと要約

この論文は、ジェネレーティブAIとコード生成モデル（例：Codex、Copilot、GPT-4）が初等プログラミング教育にもたらす課題と機会を概観し、これらのモデルが学習リソースを生成しフィードバックを改善する一方で、整合性とライセンスの問題を提起する可能性を検討します。

ABSTRACT

The computing education community has a rich history of pedagogical innovation designed to support students in introductory courses, and to support teachers in facilitating student learning. Very recent advances in artificial intelligence have resulted in code generation models that can produce source code from natural language problem descriptions -- with impressive accuracy in many cases. The wide availability of these models and their ease of use has raised concerns about potential impacts on many aspects of society, including the future of computing education. In this paper, we discuss the challenges and opportunities such models present to computing educators, with a focus on introductory programming classrooms. We summarize the results of two recent articles, the first evaluating the performance of code generation models on typical introductory-level programming problems, and the second exploring the quality and novelty of learning resources generated by these models. We consider likely impacts of such models upon pedagogical practice in the context of the most recent advances at the time of writing.

研究の動機と目的

• 大規模言語モデルが典型的なCS1のプログラミング課題と試験でどの程度機能するかを評価する。
• AI生成コードの学術的整合性、盗用検知、ライセンスの潜在的リスクを調査する。
• AIを用いて学習リソース、説明、改良されたプログラミングエラーメッセージを生成する機会を探る。
• AIの進歩を踏まえ、初等計算教育の教育法の調整と今後の方向性を議論する。

提案手法

• CS1の問題とリソースに対するコード生成モデルを評価した2つの最近の研究のレビュー。
• 実験的再現：CodexをPythonのCS1試験問題に対して学生の成績と比較して評価。
• 解法の多様性とテストケースに対する実行を調べるための複数のRainfall問題の変種の分析。
• 生成された説明の学習リソース生成（プログラミング演習とコード説明）とエラーメッセージの改善の評価。
• AI生成コードに関連する学術的整合性、ライセンス、およびバイアスの考慮事項の議論。

実験結果

リサーチクエスチョン

• RQ1 コード生成モデルは、初心者プログラマーと比較して典型的なCS1のプログラミング問題でどれだけうまく機能するか？
• RQ2 AI生成コードが、CS1の導入教育における学術的整合性、盗用検出、ライセンスにどのような影響を及ぼすか？
• RQ3 LLMベースのシステムはCS1の効果的な学習 resource（演習、説明）をどのように生成できるか、どの程度信頼できるのか？
• RQ4 learnerの過度依存や安全でないコードのリスクを緩和しつつ、AIを活用するための教育的方法の調整は何か？
• RQ5 教育におけるAI生成コードに関連する潜在的な偏見とセキュリティ問題は何か？

主な発見

指標	結果（代表例）
サンプル解は含まれていますか？	84.6% (203 / 240)
サンプル解は実行可能ですか？	89.7% (182 / 203)
テストケースはありますか？	70.8% (170 / 240)
全てのテストが通過しますか？	30.9% (51 / 165)
全ての文のカバレッジが100%ですか？	94.1% (48 / 51)

• CodexはExam 1で78.5%（15.7/20）、Exam 2で78.0%（19.5/25）を達成し、分析対象のCS1コースで71人中17位にランク付けされた。
• Codexの性能はプロンプト制約と変遷し、言語機能が制限される場合や出力が特定のフォーマット（ASCIIアート）を必要とする場合に失敗することがあった。
• 50件のRainfall問題の変種（350件評価）で、Codexは平均約50%を示し、解法は多様であった。生成された演習の84.6%にサンプル解が含まれ、これらの解の89.7%が実行可能であった。
• 生成された説明では、行ごとの説明の90%がコードのすべての部分をカバーし、1行あたりの正確性は約70%であった。新しいモデル（例：ChatGPT）では、Codexの初期系よりも高品質な説明が出現した。
• AI支援のリソース生成は、概念の広範なカバレッジを持つ新規でテーマに沿った演習とテストを作成する可能性を示し、より広範な教育実験を可能にする。
• 識別されたリスクには、学術的不正行為の懸念、生成コードのライセンスと著作権表示の問題、初心者による安全でないコードの導入、AI出力の偏見などが含まれる。慎重な方針と監督を呼びかける。