[論文レビュー] Using Large Language Models to Enhance Programming Error Messages

Juho Leinonen, Arto Hellas+5 more|arXiv (Cornell University)|Oct 20, 2022

Teaching and Learning Programming参考文献 33被引用数 5

ひとこと要約

本論文は、初心者プログラマー向けに、OpenAIのCodex（大規模言語モデル）を用いてプログラミングエラーメッセージ（PEM）の明確な説明と実行可能な修正案を生成することで、エラーメッセージの質を向上させることを検討している。理解しやすさは高く（88%）、説明の正しさは中程度（説明の正しさ57%、修正案の正しさ47%）であるが、エラー率のため、まだ本番環境での利用には十分に信頼できない。

ABSTRACT

A key part of learning to program is learning to understand programming error messages. They can be hard to interpret and identifying the cause of errors can be time-consuming. One factor in this challenge is that the messages are typically intended for an audience that already knows how to program, or even for programming environments that then use the information to highlight areas in code. Researchers have been working on making these errors more novice friendly since the 1960s, however progress has been slow. The present work contributes to this stream of research by using large language models to enhance programming error messages with explanations of the errors and suggestions on how to fix the error. Large language models can be used to create useful and novice-friendly enhancements to programming error messages that sometimes surpass the original programming error messages in interpretability and actionability. These results provide further evidence of the benefits of large language models for computing educators, highlighting their use in areas known to be challenging for students. We further discuss the benefits and downsides of large language models and highlight future streams of research for enhancing programming error messages.

研究の動機と目的

• 長年にわたり、難解で解釈が難しいプログラミングエラーメッセージが初心者学習者を妨げるという長年の課題に対処すること。
• 標準的なコンパイラメッセージよりも、より読みやすく、実行可能な説明と修正案を生成できるかどうかを、大規模言語モデルが果たせるかを調査すること。
• 入門的プログラミング教育の文脈において、LLMが生成するPEM強化の実用性と信頼性を評価すること。
• LLMに依存してエラーメッセージを強化することの限界とリスク、特に誤った提案の可能性を特定すること。

提案手法

• 著者らは、先行研究で特に読みにくいとされた25件のPythonエラーメッセージを収集した。
• これらの特定エラーメッセージを引き起こすコード例を生成し、LLMの反応をテストした。
• OpenAI Codex（code-davinci-002）を用いて、プロンプト工学を応用し、一度のプロンプトで平易な英語による説明とコード修正案を提示するように指示した。
• 一貫性を確保するため、温度設定を0にした。出力は人間の専門家によって正しさと明確さの観点から評価された。
• 評価には、説明の理解しやすさ、説明の正しさ、提案されたコード修正の正確性を含めた。
• リスク低減のための二段階システムを提案した。このシステムでは、エラーメッセージの複雑さやソースコードの構造に基づいて、LLMを条件付きで使用する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Codexは、初心者学習者向けに、さまざまなプログラミングエラーメッセージを平易な英語でどれほど的確に説明できるか？
• RQ2 RQ2: Codexが誤ったコードに対して生成するコード修正案の品質はいかがなものか？
• RQ3 RQ3: プロンプト設計、温度設定、入力の複雑さの違いによって、Codexのパフォーマンスはどのように変化するか？
• RQ4 RQ4: LLMが生成するエラーメッセージ強化は、入門的プログラミングの教室で信頼性を持って使用できるか？

主な発見

• テストケースの84%でCodexは理解しやすい説明を生成したが、そのうち88%は評価者によって理解可能とされた。
• 生成された説明の正しさはわずか57%にとどまり、全入力のうち48%にのみ正しい説明が含まれていた。
• コード修正案については、出力の70%が修正案を含んでいたが、そのうち正しかったのは47%にとどまり、全入力の33%にのみ正しい修正案が提示された。
• 温度を0に設定した場合、パフォーマンスが顕著に向上した。これは、決定論的な出力がより信頼性の高い結果をもたらすことを示している。
• 研究では、LLMが単純なエラーの説明には効果的であるが、複数のエラーまたは複雑なコード構造が含まれる場合には信頼性が低下することを発見した。
• 著者らは、LLMが生成する修正案が学生を誤導する可能性があると警告し、教室への導入前に検証メカニズムの整備が不可欠であると強調した。