[논문 리뷰] Source Code Summarization in the Era of Large Language Models

Weisong Sun, Yun Miao외 7명|arXiv (Cornell University)|2024. 07. 09.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Model, LLM) 기반 소스 코드 요약에 대한 종합적인 실증 연구를 수행하며, 프롬프팅 기법, 모델 초모수, 다양한 프로그래밍 언어에서의 LLM 능력을 평가한다. 연구 결과, GPT-4 기반 평가가 인간의 판단과 가장 유사하게 나타나며, 종종 고급 기법보다 제로샷 프롬프팅이 더 우수한 성능을 보이며, 놀랍게도 7B 파라미터를 가진 CodeLlama-Instruct 모델이 GPT-4를 능가해 의미적이고 성질 중심의 코드 요약을 생성하는 데에 성공한다.

ABSTRACT

To support software developers in understanding and maintaining programs, various automatic (source) code summarization techniques have been proposed to generate a concise natural language summary (i.e., comment) for a given code snippet. Recently, the emergence of large language models (LLMs) has led to a great boost in the performance of code-related tasks. In this paper, we undertake a systematic and comprehensive study on code summarization in the era of LLMs, which covers multiple aspects involved in the workflow of LLM-based code summarization. Specifically, we begin by examining prevalent automated evaluation methods for assessing the quality of summaries generated by LLMs and find that the results of the GPT-4 evaluation method are most closely aligned with human evaluation. Then, we explore the effectiveness of five prompting techniques (zero-shot, few-shot, chain-of-thought, critique, and expert) in adapting LLMs to code summarization tasks. Contrary to expectations, advanced prompting techniques may not outperform simple zero-shot prompting. Next, we investigate the impact of LLMs' model settings (including top\_p and temperature parameters) on the quality of generated summaries. We find the impact of the two parameters on summary quality varies by the base LLM and programming language, but their impacts are similar. Moreover, we canvass LLMs' abilities to summarize code snippets in distinct types of programming languages. The results reveal that LLMs perform suboptimally when summarizing code written in logic programming languages compared to other language types. Finally, we unexpectedly find that CodeLlama-Instruct with 7B parameters can outperform advanced GPT-4 in generating summaries describing code implementation details and asserting code properties. We hope that our findings can provide a comprehensive understanding of code summarization in the era of LLMs.

연구 동기 및 목표

• 프롬프팅 기법, 모델 설정, 프로그래밍 언어 간에 LLM 기반 코드 요약의 효과성을 체계적으로 평가하는 것.
• 특히 기준 요약과의 괴리가 큰 LLM 생성 요약에 대해 가장 신뢰할 수 있는 자동 평가 방법을 특정하는 것.
• 고급 프롬프팅 기법이 단순한 제로샷 프롬프팅에 비해 항상 코드 요약 품질을 향상시키는지 조사하는 것.
• 모델 초모수(Top-p, 온도)가 다양한 LLM과 프로그래밍 언어 간 요약 품질에 미치는 영향을 평가하는 것.
• 다양한 프로그래밍 언어 유형, 특히 논리 프로그래밍을 포함한 언어에서 LLM의 코드 요약 성능을 평가하는 것.

제안 방법

• 연구는 다양한 프로그래밍 언어의 코드 스니펫으로 구성된 다각도적인 데이터셋을 사용하여, CodeLlama-Instruct, StarChat-β, GPT-3.5, GPT-4의 네 가지 LLM을 대상으로 코드 요약 작업을 평가한다.
• 다섯 가지 프롬프팅 기법—제로샷, 희소샷, 사고의 사슬, 비평, 전문가 프롬프팅—을 비교하여 요약 품질에 미치는 영향을 분석한다.
• 모델 초모수(Top-p 및 온도)를 체계적으로 변형하여 요약 품질에 미치는 영향을 분석하며, 평가의 결정성 확보를 위해 온도를 0.1 또는 0으로 설정한다.
• LLM 생성 응답에서 간결한 코드 주석을 추출하기 위해 히우리스틱 기반의 규칙 기반 방법을 사용하며, 이를 여러 자동 메트릭으로 평가한다.
• 요약 품질 평가를 위해 GPT-4를 인간과 유사한 평가자로 활용하며, 기존 메트릭인 BLEU, METEOR, ROUGE-L 및 의미적 유사도 측정 방법과 결과를 비교한다.
• 다양한 프로그래밍 언어에 걸쳐 분석을 수행하여 발견된 결과가 언어 특화된 잡음에 편향되지 않고 일반화 가능함을 보장한다.

실험 결과

연구 질문

• RQ1 LLM 생성 요약의 품질 평가에 있어 인간 판단과 가장 유사하게 일치하는 자동 평가 방법은 무엇인가?
• RQ2 사고의 사슬, 비평 등 고급 프롬프팅 기법이 제로샷 프롬프팅에 비해 항상 코드 요약 성능을 향상시키는가?
• RQ3 Top-p 및 온도와 같은 모델 초모수가 다양한 기반 LLM과 프로그래밍 언어 간 요약 품질에 미치는 영향은 어떠한가?
• RQ4 LLM은 다양한 유형의 프로그래밍 언어, 특히 논리 프로그래밍(LP)에서 작성된 코드 요약에 대해 어떻게 성능을 보이는가?
• RQ5 CodeLlama-Instruct와 같이 작은 오픈소스 LLM이 GPT-4와 같은 큰 전문 모델을 능가할 수 있는가? 특히 의미적 및 성질 중심 요약 생성에 있어.

주요 결과

• GPT-4 기반 평가 방법이 BLEU, METEOR, ROUGE-L과 같은 전통적 메트릭보다 인간 판단과 가장 유사하게 일치하며 요약 품질 평가에 있어 가장 뛰어난 성능을 보였다.
• 사고의 사슬 및 비평과 같은 고급 프롬프팅 기법이 항상 단순한 제로샷 프롬프팅을 능가하지는 않으며, 오히려 종종 제로샷 프롬프팅이 더 뛰어난 결과를 도출한다.
• Top-p 및 온도가 요약 품질에 미치는 영향은 LLM과 프로그래밍 언어 간에 유사하지만, 영향의 크기는 기반 모델과 언어 유형에 따라 다름을 확인하였다.
• LLM은 논리 프로그래밍(LP) 코드 요약에 대해 최적의 성능을 내지 못하며, 절차형 언어나 객체 지향 언어에 비해 상당히 낮은 품질의 요약을 생성한다.
• 7B 파라미터를 가진 CodeLlama-Instruct는 '왜' 요약(4.29 vs. 4.28)과 '성질' 요약(4.19 vs. 4.06)에서 GPT-4를 능가하며, 의미적 및 형식적 성질을 잘 포착하는 능력을 보였다.
• 이 연구는 오픈소스이자 소규모 LLM이 특정 요약 작업, 특히 의미적 및 성질 중심 요약에서 대규모 상용 모델을 능가하거나 유사한 성능을 내는 데에 성공함을 입증하였다.