[論文レビュー] Evaluating Language Models for Generating and Judging Programming Feedback

Charles Koutcheme, Nicola Dainese+5 more|arXiv (Cornell University)|Jul 5, 2024

Software Engineering Techniques and Practices被引用数 4

ひとこと要約

本研究では、オープンソースの大規模言語モデル（LLM）がPythonの課題に対するプログラミングフィードバックの生成と評価にどの程度有効であるかを評価し、GPT-4oのようなプロプライエタリモデルと比較している。結果として、最新のオープンソースモデル（Llama3-70B）が、フィードバック生成および品質評価の両面でプロプライエタリモデルとほぼ同等の性能を示しており、コスト効率が良く、透明性があり、誰にでも利用可能な教育ツールとしての強力な可能性を示している。

ABSTRACT

The emergence of large language models (LLMs) has transformed research and practice across a wide range of domains. Within the computing education research (CER) domain, LLMs have garnered significant attention, particularly in the context of learning programming. Much of the work on LLMs in CER, however, has focused on applying and evaluating proprietary models. In this article, we evaluate the efficiency of open-source LLMs in generating high-quality feedback for programming assignments and judging the quality of programming feedback, contrasting the results with proprietary models. Our evaluations on a dataset of students' submissions to introductory Python programming exercises suggest that state-of-the-art open-source LLMs are nearly on par with proprietary models in both generating and assessing programming feedback. Additionally, we demonstrate the efficiency of smaller LLMs in these tasks and highlight the wide range of LLMs accessible, even for free, to educators and practitioners.

研究の動機と目的

• オープンソースLLMがイントロダクションレベルのPythonプログラミング課題に対して生成するフィードバックの質を評価すること。
• オープンソースLLMが、人間の専門家と同等の水準でプログラミングフィードバックの質を的確に評価できるかどうかを評価すること。
• オープンソースLLMとプロプライエタリLLMの両方におけるフィードバック生成および評価タスクのパフォーマンスを比較すること。
• より小さな、自由に利用可能なLLMが教育用フィードバックアプリケーションに実用的かどうかを検討すること。
• オープンソースLLMをプロプライエタリモデルの代替として推奨することで、計算教育分野における透明性、コスト効率、およびデータプライバシーの向上を促進すること。

提案手法

• 5つの最先端のオープンソースLLMと2つのプロプライエタリモデル（GPT-4oを含む）を用いて、バグの説明と修正案を生成した。
• 完全性、理解しやすさ、修正の正確性に焦点を当てた独自の評価基準を用いて、手動でフィードバックの質を評価した。
• 専門家がアノテートした正解ラベルを用いて、モデルのフィードバック品質評価能力を評価した。
• モデルへのアクセスにはEasyLLMライブラリとHuggingFace APIを採用し、大多数のモデルで最小限のコストで運用した。
• 2名のアノテーターによる評価者間信頼性の検証を実施し、中程度のKrippendorff’s alpha（0.49）を達成した。
• Phi-3-mini、Mistral-7B、Llama3-70Bを含む多様なLLMサイズを対象に、スケーラビリティおよび効率性を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: オープンソースLLMとクローズドソースLLMは、学生のプログラミング提出物に対する高品質なバグ説明と修正案の生成において、どのように比較されるか？
• RQ2 RQ2: オープンソースLLMとクローズドソースLLMは、専門家の判断と比較して、プログラミングフィードバックの質をどの程度正確に評価できるか？
• RQ3 RQ3: より小さな、自由に利用可能なLLMは、より大きなモデルと比較して、フィードバック生成および評価タスクでどの程度のパフォーマンスを示すか？
• RQ4 RQ4: 教育用フィードバックシステムにおいて、オープンソースLLMとプロプライエタリLLMを用いる際の、パフォーマンス、コスト、データプライバシーのトレードオフは何か？

主な発見

• 最先端のオープンソースLLM「Llama3-70B」は、フィードバック生成および評価の両タスクにおいて、GPT-4oと同等のパフォーマンスを達成した。
• 計算リソースが限られた状況下でも、Phi-3-miniなどの小さなオープンソースモデルが競争力のあるパフォーマンスを示しており、一般ユーザーのデバイスへの実装可能性が示された。
• 人間によるアノテーションの評価者間信頼性は中程度（Krippendorff’s alpha = 0.49）であり、アノテーションの一貫性向上の余地があることが示された。
• オープンソースLLMは、フィードバック評価の観点からも強力な潜在能力を示しており、GPT-4oと同等の性能を発揮した。これにより、フィードバックの反復的改善が可能になった。
• 本研究では、モデルのサイズがパフォーマンスに直接相関しないことが判明した。Phi-3-miniのような小さなモデルが、予想を上回るパフォーマンスを示した。
• 研究者は、再現可能性および今後のLLM教育分野におけるベンチマークのため、コード、モデル出力、アノテーションを公開した。