[論文レビュー] Authoring Worked Examples for Java Programming with Human-AI Collaboration

Mohammad Hassany, Peter Brusilovsky+3 more|arXiv (Cornell University)|Dec 4, 2023

Software Engineering Research被引用数 4

ひとこと要約

本論文は、大規模言語モデル（例：ChatGPT）を用いてJavaの作業例の各行に対して自動的に解説を生成する、人間とAIが共同で作成するシステムを提示している。教員は生成された解説を編集できる。ユーザー調査の結果、53.93%の参加者がAIが生成した解説を専門家による解説と同等またはそれ以上に完成度が高いと評価しており、プログラミング教育におけるAI支援型例題作成の実現可能性と質の高さが示された。

ABSTRACT

Worked examples (solutions to typical programming problems presented as a source code in a certain language and are used to explain the topics from a programming class) are among the most popular types of learning content in programming classes. Most approaches and tools for presenting these examples to students are based on line-by-line explanations of the example code. However, instructors rarely have time to provide line-by-line explanations for a large number of examples typically used in a programming class. In this paper, we explore and assess a human-AI collaboration approach to authoring worked examples for Java programming. We introduce an authoring system for creating Java worked examples that generates a starting version of code explanations and presents it to the instructor to edit if necessary. We also present a study that assesses the quality of explanations created with this approach.

研究の動機と目的

• プログラミング教育における作成のボトル neck を解消するため、教員がコード例の一行一行の詳細な解説を書く時間的余裕がないことに対処する。
• 大規模言語モデル（LLM）が、Javaのコード例に対して教育的価値のある高品質な解説を生成できるかどうかを検討する。
• TAs や学生によるユーザー調査を通じて、AIが生成した解説と専門家が書いた解説の質を比較評価する。
• 教育的利用を目的としたインタラクティブで解説付きのプログラミング例題を作成する際の、人間とAIの協働の可能性と有効性を評価する。
• 教員が高品質でインタラクティブな学習コンテンツを効率的に作成できるように支援する、今後の著作者ツールの設計を支援する。

提案手法

• Javaのコード例とその問題文を入力として受け取り、事前に訓練されたLLM（例：ChatGPT）を用いて一行ずつ解説を生成する著作者システムを開発した。
• システムはAIが生成した解説を教員に提示し、レビューと編集を可能にすることで、著作者プロセスにおける人間とAIの協働を支援する。
• WebEx や PCEX などの既存の例題探索ツールへの統合を想定し、再利用可能な形式で例題をエクスポートする機能をサポートする。
• 15名のTAおよび学生を対象にユーザー調査を実施し、3段階のスケールを用いてAI生成解説と専門家が書いた解説の完成度と質を比較した。
• 解説は3段階スケール（「AIの方が良い」「専門家の方が良い」「両者同じ」）で評価され、参加者間で集計された。
• 一般化可能性を評価するため、すべての例題に同一のプロンプトを適用したが、今後の研究では難易度に応じたプロンプトの検討も検討されている。

実験結果

リサーチクエスチョン

• RQ1 LLMは、人間の評価者が教育的・正確性を満たすと判断できるJava例題の一行一行のコード解説を生成できるか？
• RQ2 完成度と明確さの観点から、AIが生成した解説と専門家が書いた解説の質はどのように比較されるか？
• RQ3 人間とAIが共同で作成する著作者ワークフローにおいて、教員やTAがAI生成解説の価値をどのように感じているか？
• RQ4 評価者はどの程度AI生成解説を専門家が書いたものよりも好む傾向にあり、その好みに影響を与える要因は何か？
• RQ5 プロンプトとユーザインターフェースの設計は、教員がAI生成解説を効果的に編集・改善できるようにどのように支援できるか？

主な発見

• 53.93%の評価者が、AIが生成した解説を専門家によるものと同等またはそれ以上に完成度が高いと評価しており、高い認識された品質を示している。
• 平均して、AI生成解説は3段階の完成度スケール（0 = 同じ、1 = 専門家の方が良い、2 = AIの方が良い）で1.867点を記録したのに対し、専門家解説は1.400点であった。これはAI出力に統計的に有利な傾向があることを示している。
• 学生は51.11%のケースでAIの解説をより良いまたは同等と評価したが、TAと著作者はそれぞれ58.15%および57.78%の高い評価を示した。
• 全体的に肯定的な反応にもかかわらず、6.96%の評価者がAIの解説に不完全さを指摘し、専門家解説の14.07%が不完全と評価された。これは改善の余地があることを示している。
• 専門家とAIの両方が、特定の行の解説を省略する場合があることが明らかになったが、その意思決定プロセスは評価対象外であり、いつ解説をすべきか、あるいは省略すべきかについての今後の研究の必要性が示された。
• 本研究のサンプルサイズ（15名）と例題数（8つ）が限定的であるため、結果は慎重に解釈され、一般化のためには大規模な研究が今後必要であると示唆された。