[論文レビュー] Source Code Summarization in the Era of Large Language Models

Weisong Sun, Yun Miao+7 more|arXiv (Cornell University)|Jul 9, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLM）を用いたソースコード要約に関する包括的な実験的調査を実施し、プロンプティング技術、モデルハイパラメータ、複数のプログラミング言語におけるLLMの能力を評価している。GPT-4を用いた評価が人間の判断と最も一致することが判明した。ゼロショットプロンプティングはしばしば高度な技術を上回り、驚くべきことに、7BパラメータのCodeLlama-Instructは、意味的およびプロパティ中心のコード要約を生成する際、GPT-4を上回っている。

ABSTRACT

To support software developers in understanding and maintaining programs, various automatic (source) code summarization techniques have been proposed to generate a concise natural language summary (i.e., comment) for a given code snippet. Recently, the emergence of large language models (LLMs) has led to a great boost in the performance of code-related tasks. In this paper, we undertake a systematic and comprehensive study on code summarization in the era of LLMs, which covers multiple aspects involved in the workflow of LLM-based code summarization. Specifically, we begin by examining prevalent automated evaluation methods for assessing the quality of summaries generated by LLMs and find that the results of the GPT-4 evaluation method are most closely aligned with human evaluation. Then, we explore the effectiveness of five prompting techniques (zero-shot, few-shot, chain-of-thought, critique, and expert) in adapting LLMs to code summarization tasks. Contrary to expectations, advanced prompting techniques may not outperform simple zero-shot prompting. Next, we investigate the impact of LLMs' model settings (including top\_p and temperature parameters) on the quality of generated summaries. We find the impact of the two parameters on summary quality varies by the base LLM and programming language, but their impacts are similar. Moreover, we canvass LLMs' abilities to summarize code snippets in distinct types of programming languages. The results reveal that LLMs perform suboptimally when summarizing code written in logic programming languages compared to other language types. Finally, we unexpectedly find that CodeLlama-Instruct with 7B parameters can outperform advanced GPT-4 in generating summaries describing code implementation details and asserting code properties. We hope that our findings can provide a comprehensive understanding of code summarization in the era of LLMs.

研究の動機と目的

• プロンプティング技術、モデル設定、プログラミング言語の観点から、LLMを用いたコード要約の有効性を体系的に評価すること。
• 特に、基準要約から乖離する可能性があるLLM生成要約の自動評価方法として、最も信頼性の高い方法を同定すること。
• 高度なプロンプティング技術（例：チェーン・オブ・トゥーク、フィードバック）が、単純なゼロショットプロンプティングに比べて、一貫して要約品質を向上させるかどうかを調査すること。
• モデルハイパーパrameter（top_p、temperature）が、異なるLLMおよびプログラミング言語における要約品質に与える影響を評価すること。
• 論理プログラミングを含む、異なる種類のプログラミング言語におけるコード要約の性能を評価すること。

提案手法

• 本研究では、複数のプログラミング言語にまたがる多様なコードスニペットのデータセットを用いて、CodeLlama-Instruct、StarChat-β、GPT-3.5、GPT-4の4つのLLMを対象に、コード要約タスクを評価した。
• 要約品質に与える影響を評価するために、ゼロショット、few-shot、チェーン・オブ・トゥーク、フィードバック、エキスパートプロンプティングの5つのプロンプティング技術を比較した。
• 要約品質に与える影響を分析するために、モデルハイパーパrameter（top_pおよびtemperature）を体系的に変化させた。評価の決定論的化のため、temperatureを0.1または0に設定した。
• LLM出力から要約的なコードコメントを抽出するためにヒューリスティックなルールベース手法を用い、複数の自動評価メトリクスを用いてその品質を評価した。
• 要約品質の評価に、人間に似た評価者としてGPT-4を用い、BLEU、METEOR、ROUGE-L、意味的類似度測定値といった従来のメトリクスと照らし合わせた。
• 複数のプログラミング言語にわたるアブレーションスタディを実施し、結果が言語固有のアーチファクトに偏っていないことを保証した。

実験結果

リサーチクエスチョン

• RQ1 LLM生成要約の品質を評価する際、どの自動評価手法が人間の判断と最も一致するか？
• RQ2 チェーン・オブ・トゥークやフィードバックなどの高度なプロンプティング技術は、ゼロショットプロンプティングに比べて一貫して要約品質を向上させるか？
• RQ3 top_pおよびtemperatureの変更が、異なるベースLLMおよびプログラミング言語におけるLLM生成要約の品質に与える影響は何か？
• RQ4 LLMは、特に論理プログラミング（LP）言語のコード要約において、どのように性能を発揮するか？
• RQ5 CodeLlama-Instructのような小規模でオープンソースのLLMは、GPT-4のような大規模で特許権のあるモデルを上回る性能を示すことができるか、特に意味的およびプロパティ中心の要約において？

主な発見

• GPT-4を用いた評価手法が、BLEU、METEOR、ROUGE-Lといった従来のメトリクスよりも人間の判断と最も一致しており、要約品質の評価において優れていることが判明した。
• チェーン・オブ・トゥークやフィードバックといった高度なプロンプティング技術は、一貫してゼロショットプロンプティングを上回るとは限らず、むしろしばしば優れた結果をもたらした。
• top_pおよびtemperatureが要約品質に与える影響は、LLMやプログラミング言語の種別に関わらず類似しているが、その影響の大きさはベースモデルや言語によって異なる。
• LLMは論理プログラミング（LP）コードの要約において、手続き型言語やオブジェクト指向言語と比較して著しく低い品質を示した。
• 7BパラメータのCodeLlama-Instructは、GPT-4を上回り、『なぜ』（4.29 vs. 4.28）および『プロパティ』（4.19 vs. 4.06）要約の両方において優れた性能を示しており、意味的および形式的プロパティを的確に捉える能力が優れていることが示された。
• 本研究では、オープンソースで小規模なLLMが、特に意味的およびプロパティ中心の要約タスクにおいて、大規模な商業モデルと同等またはそれ以上の性能を発揮できることを示した。