[논문 리뷰] A Prompt Learning Framework for Source Code Summarization

Xu, Tingting, Miao, Yun외 9명|arXiv (Cornell University)|2023. 12. 26.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 소스 코드 요약에서 대규모 언어 모델(Large Language Models, LLMs)을 위한 효과적인 프롬프트를 생성할 수 있도록 연속 프롬프트 에이전트를 훈련시키는 프롬프트 학습 프레임워크인 PromptCS를 제안한다. 이는 수동적 프롬프트 엔지니어링의 필요성을 제거한다. 이 방법은 파인튜닝에 비해 상당히 낮은 훈련 비용과 더 높은 효율성을 확보하면서도, 최신 기술 수준의 성능을 달성한다. 특히 더 큰 LLM에서 두드러진 성능을 보인다.

ABSTRACT

(Source) code summarization is the task of automatically generating natural language summaries (also called comments) for given code snippets. Recently, with the successful application of large language models (LLMs) in numerous fields, software engineering researchers have also attempted to adapt LLMs to solve code summarization tasks. The main adaptation schemes include instruction prompting, task-oriented (full-parameter) fine-tuning, and parameter-efficient fine-tuning (PEFT). However, instruction prompting involves designing crafted prompts and requires users to have professional domain knowledge, while task-oriented fine-tuning requires high training costs, and effective, tailored PEFT methods for code summarization are still lacking. This paper proposes an effective prompt learning framework for code summarization called PromptCS. It no longer requires users to rack their brains to design effective prompts. Instead, PromptCS trains a prompt agent that can generate continuous prompts to unleash the potential for LLMs in code summarization. Compared to the human-written discrete prompt, the continuous prompts are produced under the guidance of LLMs and are therefore easier to understand by LLMs. PromptCS is non-invasive to LLMs and freezes the parameters of LLMs when training the prompt agent, which can greatly reduce the requirements for training resources. Our comprehensive experimental results show that PromptCS significantly outperforms instruction prompting schemes (including zero-shot learning and few-shot learning) on all four widely used metrics, and is comparable to the task-oriented fine-tuning scheme. In some base LLMs, e.g., StarCoderBase-1B and -3B, PromptCS even outperforms the task-oriented fine-tuning scheme. More importantly, the training efficiency of PromptCS is faster than the task-oriented fine-tuning scheme, with a more pronounced advantage on larger LLMs.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)을 사용한 소스 코드 요약에서 수동적 프롬프트 엔지니어링의 과제를 해결하기 위해, 이는 전문 지식이 필요하고 시간이 오래 걸린다.
• LLMs의 작업 지향적 파인튜닝으로 인한 높은 계산 비용을 줄이기 위해.
• 모델을 재학습하지 않고도 효과적인 프롬프트 생성이 가능한 비침습적이고 파라미터를 동 冻결하는 접근법을 개발하기 위해.
• LLMs의 이해와 더 잘 호환되는 프롬프트를 생성함으로써 코드 요약의 품질과 관련성을 향상시키기 위해.
• 연속 프롬프트 학습이 일부 경우에서 제로샷/피셔샷 지시어 프롬프팅과 심지어 파인튜닝을 능가할 수 있음을 입증하기 위해.

제안 방법

• 연속 프롬프트를 생성하기 위해 수동으로 설계된 이산 프롬프트가 아닌, 훈련 가능한 프롬프트 에이전트를 사용함으로써 LLM의 내부 표현과 더 잘 일치시킨다.
• 훈련 중에 LLM의 파라미터를 동 冻결함으로써 비침습적이며 자원 요구량을 크게 줄인다.
• 생성된 요약 품질에 기반한 손실 함수를 사용하여, LLM의 자체 출력을 가이드로 하여 프롬프트 에이전트를 종합적으로 최적화한다.
• 기울기 기반 업데이트를 통해 연속 프롬프트를 최적화함으로써, 모델이 효과적인 프롬프트 패턴을 자동으로 학습할 수 있도록 한다.
• 표준 평가 지표인 BLEU, METEOR, ROUGE-L, SentenceBERT를 사용하여 여러 프로그래밍 언어에서 CodeSearchNet 데이터셋에 대해 평가한다.
• 기존 방법과의 비교를 위해 인간 평가를 실시하여 생성된 요약의 품질과 관련성을 평가한다.

실험 결과

연구 질문

• RQ1 훈련 가능한 프롬프트 에이전트가 수동으로 설계된 이산 프롬프트보다 소스 코드 요약에서 더 우수한 성능을 내는 연속 프롬프트를 생성할 수 있는가?
• RQ2 동 冻결된 LLM을 사용한 프롬프트 학습이 작업 지향적 파인튜닝과 비슷한 성능을 달성할 수 있는가?
• RQ3 PromptCS는 다양한 기본 LLM에서 어떻게 작동하는가? 특히 훈련 효율성과 확장성 측면에서 어떻게 되는가?
• RQ4 연속 프롬프트는 제로샷 또는 피셔샷 지시어 프롬프팅에 비해 코드 요약의 품질을 향상시킬 수 있는가?
• RQ5 인간 평가에서 이 프레임워크는 어떻게 작동하는가? 더 자연스럽고 정확한 요약을 생성하는가?

주요 결과

• PromptCS는 BLEU, METEOR, ROUGE-L, SentenceBERT의 네 가지 지표에서 제로샷 및 피셔샷 지시어 프롬프팅을 모두 뛰어넘는 성능을 보였다.
• CodeGen-Multi-2B 및 StarCoderBase-1B, -3B와 같은 기본 LLM에서 PromptCS는 작업 지향적 파인튜닝의 성능을 초월하는 결과를 보였다.
• PromptCS의 훈련 효율성은 파인튜닝보다 빠르며, 파rameter 동 冻결 덕분에 더 큰 LLM에서 그 우월성이 더욱 두드러진다.
• 인간 평가 결과, PromptCS는 기존 방법보다 더 높은 품질의 요약을 생성함을 확인하였으며, 관련성과 자연스러움이 향상되었다.
• LLM에 호환되는 연속 프롬프트를 생성할 수 있는 프롬프트 에이전트의 능력이 이 프레임워크 성공의 핵심 요소였다.
• 프레임워크는 CodeSearchNet 벤치마크에서 여러 프로그래밍 언어에 걸쳐 강력한 일반화 능력을 보였다.