[논문 리뷰] Few-shot training LLMs for project-specific code-summarization

Toufique Ahmed, Prémkumar Dévanbu|arXiv (Cornell University)|2022. 07. 09.

Software Engineering Research인용 수 10

한 줄 요약

이 논문은 단지 10개의 프로젝트별 코드-주석 쌍을 사용하여 Codex 언어 모델의 few-shot 프롬프팅을 제안함으로써 코드 요약 성능을 크게 향상시킨다. 프로젝트 현지화된 예시를 활용한 few-shot 프롬프팅을 통해, 제로샷, 원샷, 기존의 파라미터 미세조정 모델보다 통계적으로 유의미한 성능 향상을 달성하며, 수천 개의 샘플로 훈련된 모델조차도 극히 적은 데이터로도 뛰어난 성능을 달성한다.

ABSTRACT

Very large language models (LLMs), such as GPT-3 and Codex have achieved state-of-the-art performance on several natural-language tasks, and show great promise also for code. A particularly exciting aspect of LLMs is their knack for few-shot and zero-shot learning: they can learn to perform a task with very few examples. Few-shotting has particular synergies in software engineering, where there are a lot of phenomena (identifier names, APIs, terminology, coding patterns) that are known to be highly project-specific. However, project-specific data can be quite limited, especially early in the history of a project; thus the few-shot learning capacity of LLMs might be very relevant. In this paper, we investigate the use few-shot training with the very large GPT (Generative Pre-trained Transformer) Codex model, and find evidence suggesting that one can significantly surpass state-of-the-art models for code-summarization, leveraging project-specific training.

연구 동기 및 목표

• few-shot 프롬프팅을 통해 프로젝트별 예시를 사용할 경우 제로샷 또는 원샷 설정을 넘어서 코드 요약 성능을 향상시킬 수 있는지 조사하는 것.
• 단지 10개의 예시만으로도 수천 개의 프로젝트별 샘플이 필요한 전통적인 미세조정 방법을 뛰어넘을 수 있는지 평가하는 것.
• 성능 및 일반화 능력 측면에서 동일 프로젝트 내 few-shot 훈련과 크로스-프로젝트 few-shot 프롬프팅을 비교하는 것.
• 실제 소프트웨어 공학 환경에서 최소한의 개발자 주석이 달린 코드-주석 쌍을 사용해 고정확도의 코드 요약을 수행할 수 있는지의 가능성과 효과성을 평가하는 것.

제안 방법

• 연구는 GPT-3의 미세조정된 버전인 Codex 언어 모델을 사용하여 코드 요약을 수행하며, 이 모델의 few-shot 인라인 학습 능력을 활용한다.
• few-shot 프롬프트는 요약할 입력 코드 앞에 10개의 프로젝트별 코드-주석 쌍을 포함하여 구성된다.
• 모델은 파arameter 업데이트 없이 프롬프트에 조건화된 자동 회귀적 예측을 통해 docstring을 생성한다.
• 성능 평가는 6개의 프로그래밍 언어로 구성된 8개의 오픈소스 프로젝트에 대한 프로젝트별 데이터셋을 대상으로 BLEU-4 및 ROUGE-L 지표를 사용하여 평가된다.
• 제로샷, 원샷, 크로스-프로젝트 few-shot, 동일 프로젝트 few-shot 설정 간의 비교 실험을 통해 프로젝트별 데이터의 영향을 분리한다.
• 성능 향상의 통계적 유의성을 다수의 프로젝트와 언어에 걸쳐 대응 t-검정을 통해 평가한다.

실험 결과

연구 질문

• RQ1 10개의 프로젝트별 예시만으로도 제로샷 또는 원샷 설정에 비해 코드 요약 성능을 유의미하게 향상시킬 수 있는가?
• RQ2 동일 프로젝트 내 few-shot 훈련이 크로스-프로젝트 few-shot 훈련보다 코드 요약 작업에서 더 뛰어난 성능을 보일 수 있는가?
• RQ3 최소한의 데이터(10개의 예시)를 사용한 few-shot 접근 방식이 수천 개의 레이블이 필요한 전통적인 미세조정 방법을 뛰어넘을 수 있는가?
• RQ4 다양한 프로그래밍 언어와 프로젝트에 걸쳐 few-shot 프롬프팅으로 인한 성능 향상이 통계적으로 유의미한가?

주요 결과

• 모든 8개의 평가 프로젝트에서 동일 프로젝트 내 few-shot 훈련이 크로스-프로젝트 few-shot 훈련보다 2%에서 46%까지 성능 향상을 보였다.
• 동일 프로젝트 내 few-shot 접근 방식은 8개 프로젝트 중 2개에서 통계적으로 유의미한 향상을 보였으며, 전체적으로 모든 프로젝트에서 성능 향상이 통계적으로 유의미했다.
• 크로스-프로젝트 few-shot 훈련은 모든 6개의 프로그래밍 언어에서 1%에서 15%까지 성능 향상을 보였으며, 4개 언어에서 통계적 유의성 있는 향상을 보였다.
• 제로샷 및 원샷 프롬프팅을 통한 Codex의 평균 BLEU-4 점수는 각각 2.96과 6.22에 그쳤으며, 이는 열악한 성능을 의미하며 few-shot이 코드 요약에 필수적임을 확인한다.
• few-shot 예시 수가 증가함에 따라 성능 향상이 매끄럽게 이루어져, 테스트 데이터의 암기보다 일반화 능력이 뛰어남을 시사한다.
• 이 연구는 수천 개의 샘플로 훈련된 모델에 비해 극히 적은 프로젝트별 데이터(10개 예시)로도 뛰어난 성능을 달성할 수 있음을 입증하며, few-shot 프롬프팅의 샘플 효율성의 중요성을 강조한다.