[論文レビュー] A Survey on Evaluating Large Language Models in Code Generation Tasks

Liguo Chen, Qi Guo+10 more|arXiv (Cornell University)|Aug 29, 2024

Natural Language Processing Techniques被引用数 9

ひとこと要約

コード生成における大規模言語モデルを評価する手法と指標の総合的なレビュー。ベンチマーク、評価スキーム、今後の課題を含む。

ABSTRACT

This paper provides a comprehensive review of the current methods and metrics used to evaluate the performance of Large Language Models (LLMs) in code generation tasks. With the rapid growth in demand for automated software development, LLMs have demonstrated significant potential in the field of code generation. The paper begins by reviewing the historical development of LLMs and their applications in code generation. Next, it details various methods and metrics for assessing the code generation capabilities of LLMs, including code correctness, efficiency, readability, and evaluation methods based on expert review and user experience. The paper also evaluates the widely used benchmark datasets, identifying their limitations and proposing directions for future improvements. Specifically, the paper analyzes the performance of code generation models across different tasks by combining multiple evaluation metrics, such as code compilation/interpretation success rates, unit test pass rates, and performance and efficiency metrics, to comprehensively assess the practical application of LLMs in code generation. Finally, the paper discusses the challenges faced in evaluating LLMs in code generation, particularly how to ensure the comprehensiveness and accuracy of evaluation methods and how to adapt to the evolving practices of software development. These analyses and discussions provide valuable insights for further optimizing and improving the application of LLMs in code generation tasks.

研究の動機と目的

• 正確性、効率性、可読性の観点で、コード生成におけるLLMsの評価方法を測定する。
• コード生成タスクのためのベンチマークデータセットとその制限を要約する。
• 専門家による評価やユーザー体験を含む評価方法論を分析する。
• 拡張性があり多言語対応、セキュリティと堅牢性を備えた評価の課題と今後の方向性を特定する。

提案手法

• 評価指標を類似性ベース、実行ベース、フィードバックベースのカテゴリに分類する。
• CodeBLEUなどのコード特有の指標とデータフロー/ASTベースの評価を検討する。
• HumanEval、MBPP、CodeXGLUE、CoderUJBなどのベンチマークスイートを要約し、それらの制限について論じる。
• 拡張性、多言語一般化、セキュリティ、堅牢性、実用性における課題について論じる。

Fig.​​ 3 : Pass@1 Performance of LLMs on HumanEval Over Time.

実験結果

リサーチクエスチョン

• RQ1 コード生成においてLLMsを評価するために使用される指標は何であり、それらの限界は何か？
• RQ2 コード生成評価のためにどのベンチマークが使用され、現実のコーディングタスクをどれだけ反映しているか？
• RQ3 コード生成の評価においてどのような課題が存在し、将来の研究の方向性として何が提案されているか？
• RQ4 異なる評価アプローチ（類似性、実行、フィードバック）は、コード生成品質を評価するうえで互いにどのように補完し合うか？

主な発見

• CodeBLEUは構文的・意味的なコード要素を取り入れることでBLEUを上回る。
• コンパイル/解釈の成功率と単体テストの合格率が中心となる実行ベースの指標。
• フィードバックベースの評価にはブラインド・ピアレビューや実世界のアプリケーションテストが含まれ、客観性を高める。
• HumanEvalとMBPPなどのベンチマークはPythonに焦点を当てており、実用的なソフトウェアタスクを完全には反映しない可能性がある。
• ベンチマークの変種（例：Java向けのCoderUJB）は、タスク特有の強みと限界を明らかにする。

Fig.​​ 4 : Pass@1 Performance of LLMs on MBPP Over Time.