[논문 리뷰] Generative Software Engineering

Yuan Huang, Yinan Chen외 7명|arXiv (Cornell University)|2024. 03. 05.

Advanced Software Engineering Methodologies인용 수 4

한 줄 요약

이 논문은 사전 훈련된 모델과 대규모 언어 모델(Large Language Models, LLMs)을 활용한 소프트웨어 공학 분야의 생성 작업에 대한 체계적인 문헌 리뷰를 제시하며, 소프트웨어 개발 생애주기 전반에 걸쳐 이를 분류한다. 모델 아키텍처, 데이터셋, 평가 지표를 분석하고 주요 과제와 연구 격차를 규명하며, LLM 기반 소프트웨어 공학 분야의 향후 연구를 위한 종합적인 로드맵을 제안한다.

ABSTRACT

The rapid development of deep learning techniques, improved computational power, and the availability of vast training data have led to significant advancements in pre-trained models and large language models (LLMs). Pre-trained models based on architectures such as BERT and Transformer, as well as LLMs like ChatGPT, have demonstrated remarkable language capabilities and found applications in Software engineering. Software engineering tasks can be divided into many categories, among which generative tasks are the most concern by researchers, where pre-trained models and LLMs possess powerful language representation and contextual awareness capabilities, enabling them to leverage diverse training data and adapt to generative tasks through fine-tuning, transfer learning, and prompt engineering. These advantages make them effective tools in generative tasks and have demonstrated excellent performance. In this paper, we present a comprehensive literature review of generative tasks in SE using pre-trained models and LLMs. We accurately categorize SE generative tasks based on software engineering methodologies and summarize the advanced pre-trained models and LLMs involved, as well as the datasets and evaluation metrics used. Additionally, we identify key strengths, weaknesses, and gaps in existing approaches, and propose potential research directions. This review aims to provide researchers and practitioners with an in-depth analysis and guidance on the application of pre-trained models and LLMs in generative tasks within SE.

연구 동기 및 목표

• 사전 훈련된 모델과 LLM을 소프트웨어 공학 분야에서 연결하는 체계적인 문헌 리뷰가 부족한 점을 보완하기 위해.
• 소프트웨어 개발 생애주기 전반에 걸쳐 생성 소프트웨어 공학 작업을 분류하기 위해.
• 생성 소프트웨어 공학 작업에서 사용되는 대표적인 모델, 데이터셋, 평가 지표를 분석하기 위해.
• 현재 접근 방식의 한계, 과제, 연구 격차를 규명하기 위해.
• LLM을 소프트웨어 공학 분야에 적용하기 위한 실천 가능한 향후 연구 방향을 제안하기 위해.

제안 방법

• 사전 훈련된 모델과 LLM을 활용한 소프트웨어 공학 분야의 생성 작업에 중점을 두고 체계적인 문헌 리뷰를 수행하였다.
• 소프트웨어 공학 작업을 요구사항 생성, 코드 생성, 코드 요약, 테스트 생성, 패치 생성, 코드 최적화, 코드 번역의 일곱 가지 하위 작업으로 분류하였다.
• 주요 사전 훈련된 모델(예: BERT, GPT, XLNet)과 LLM(예: ChatGPT, GPT-4)을 이러한 작업들에 대해 검토하고 비교하였다.
• 기존 연구에서 사용된 데이터셋과 평가 지표를 분석하여 모델 성능 평가를 수행하였다.
• 생성 소프트웨어 공학 응용 분야에서의 피니팅, 프롬프트 엔지니어링, 전이 학습 전략에 대한 통합적 분석를 수행하였다.
• 모델의 불안정성, 코드 기반 특화 피니팅의 부족, 코드 중심 LLM의 평가 부족과 같은 반복적인 과제를 규명하였다.

실험 결과

연구 질문

• RQ1 소프트웨어 공학의 맥락에서 사전 훈련된 모델은 어떻게 대규모 언어 모델(LLMs)로 진화해 왔는가?
• RQ2 소프트웨어 공학 분야의 생성 작업은 어떤 것이 있으며, 소프트웨어 개발 생애주기 전반에 어떻게 분포되어 있는가?
• RQ3 다양한 유형의 생성 소프트웨어 공학 작업에 가장 효과적인 사전 훈련된 모델과 LLM은 무엇인가?
• RQ4 현재 연구에서 일반적으로 사용되는 데이터셋과 평가 지표는 무엇이며, 이는 모델 평가에 어떻게 영향을 미치는가?
• RQ5 LLM을 생성 소프트웨어 공학 작업에 적용할 때의 주요 한계와 열린 과제는 무엇인가?

주요 결과

• GPT-4와 같은 LLM은 작업에 특화된 프롬프트를 사용할 경우 코드 요약 및 C#에서 Java로의 코드 번역 작업에서 베이스라인 모델보다 뛰어난 성능을 보였다.
• 기본적인 프롬프트는 특히 Java에서 C#으로의 번역 작업에서 코드 생성 및 다국어 번역 작업에서 최적의 성능을 내지 못하는 경우가 많다.
• 컨텍스트 학습과 프롬프트 엔지니어링은 LLM의 출력 품질을 크게 향상시키며, 사용자 연구 결과에 따르면 반복적인 프롬프트 사용이 응답의 관련성 향상에 기여한다.
• 일반 목적의 LLM을 특정 소프트웨어 공학 작업에 적합하게 만들기 위해 피니팅과 프롬프트 엔지니어링이 필수적이다.
• Codex와 같은 코드 중심 LLM에 대한 세부적인 평가가 부족하며, 대부분의 연구가 ChatGPT와 같은 일반 모델에 의존하고 있다.
• 현재 연구 결과에 따르면 LLM은 일정 작업에서 일관성과 신뢰성에 문제가 있음을 보여주며, 이는 더 나은 작업 기반 피니팅 및 평가 프레임워크가 필요함을 시사한다.