[論文レビュー] Dcc --help: Generating Context-Aware Compiler Error Explanations with Large Language Models

Andrew Taylor, Alexandra Vassar+2 more|arXiv (Cornell University)|Aug 23, 2023

Software Engineering ResearchComputer Science被引用数 3

ひとこと要約

本論文では、大規模言語モデル（LLM）をデバッグCコンパイラ（DCC）に統合し、コンpile時および実行時エラーの文脈に即した初心者向けの説明を生成するオープンソースツールである dcc --help を紹介する。ソースコード、エラーの位置、標準エラーメッセージをLLMにプロンプトとして与えることで、実行可能な自然言語のガイダンスを即時生成する。コンパイル時エラーに関しては概念的正確性が90%、実行時エラーに関しては75%を達成し、大規模なCS1/CS2コースにおいて高い学生の利用が確認された。

ABSTRACT

In the challenging field of introductory programming, high enrollments and failure rates drive us to explore tools and systems to enhance student outcomes, especially automated tools that scale to large cohorts. This paper presents and evaluates the dcc --help tool, an integration of a Large Language Model (LLM) into the Debugging C Compiler (DCC) to generate unique, novice-focused explanations tailored to each error. dcc --help prompts an LLM with contextual information of compile- and run-time error occurrences, including the source code, error location and standard compiler error message. The LLM is instructed to generate novice-focused, actionable error explanations and guidance, designed to help students understand and resolve problems without providing solutions. dcc --help was deployed to our CS1 and CS2 courses, with 2,565 students using the tool over 64,000 times in ten weeks. We analysed a subset of these error/explanation pairs to evaluate their properties, including conceptual correctness, relevancy, and overall quality. We found that the LLM-generated explanations were conceptually accurate in 90% of compile-time and 75% of run-time cases, but often disregarded the instruction not to provide solutions in code. Our findings, observations and reflections following deployment indicate that dcc-help provides novel opportunities for scaffolding students' introduction to programming.

研究の動機と目的

• 初年次プログラミング（CS1）課程における高い失敗率・離脱率を改善し、意味のあるエラーフィードバックへのアクセスを向上させること。
• 初心者学習者にとって理解しにくく、問題の解決を妨げる暗号化された、役に立たないコンパイラーエラー・メッセージの限界を克服すること。
• 伝統的な教育支援が不十分な大規模な学生集団に対しても、パーソナライズされ、オンデマンドで利用可能なデバッグ支援をスケーリングすること。
• 生成的AIを活用して、コンパイラを受動的なエラー報告者から、能動的で文脈に即した学習ガイドへと変革すること。
• 数千人の学生を対象とする現実世界の教育現場において、LLMによる説明の実現可能性、品質、影響を評価すること。

提案手法

• GPT-3.5-turbo-0301を用いた大規模言語モデル（LLM）をDCCコンパイラパイプラインに直接統合し、リアルタイムの説明を生成する。
• 文脈的情報（ソースコード、エラーの位置、元のコンパイラーエラー・メッセージ）をLLMにプロンプトとして提供する。
• 直接的なコード解決を提供しないで、初心者向けで概念的かつ実行可能な説明を生成するようLLMに指示する。
• 過剰な依存を防ぎ、批判的思考を促進するため、レート制限と警告を実装する。
• オーストラリアの大規模大学のCS1およびCS2課程にツールを導入し、学生がオンデマンドで説明にアクセスできるようにする。
• 10週間にわたり2,565名の学生から64,000件のエラー／説明ペアを収集・分析し、説明の品質と利用パターンを評価する。

実験結果

リサーチクエスチョン

• RQ1 LLMが生成する説明は、Cプログラミングのコンパイル時および実行時エラーについて、どの程度概念的に正確であるか？
• RQ2 学生は実際に dcc --help をどのように使用しているのか？また、使用は提出期限や問題の難易度と相関しているか？
• RQ3 直接的なコード解決を提供しない状況でも、LLMが生成する説明は初心者プログラマーの学習を効果的にサポートできるか？
• RQ4 このようなツールが学生の学習成果およびデバッグへの自信に、主観的および客観的にどのような影響を与えているか？
• RQ5 生成的AIをコンパイラに統合することで、コンパイラの役割はエラー報告から能動的学習支援へとどのように変化しているか？

主な発見

• LLMが生成した説明は、コンパイル時エラーの90%、実行時エラーの75%において概念的に正確であった。
• 直接的なコード修正を避けるよう指示したにもかかわらず、LLMは頻繁に直接的なコード修正を提供していた。これは、より強いプロンプト制御の必要性を示唆している。
• 10週間にわたり、2,565名の学生が64,000回以上 dcc --help を使用した。使用頻度は主要な評価の提出期限の前後に急増した。
• 学生はこのツールに対して強く関与しており、価値があり、アクセスしやすい学習支援として認識されていることが示された。
• 最終試験での成績に顕著な低下は観察されず、ツールが学習成果を損なうものではなかった。
• 生成的AIをコンパイラに統合することで、コンパイラの役割は能動的で文脈に即した学習コンパニオンへと変容し、大規模な学生支援が可能になった。