[논문 리뷰] FRANC: A Lightweight Framework for High-Quality Code Generation

Mohammed Latif Siddiq, Beatrice Casey외 1명|arXiv (Cornell University)|2023. 07. 17.

Software Engineering Research인용 수 6

한 줄 요약

FRANC은 정적 필터링, 품질 인식 순위 매기기, 프롬프트 엔지니어링을 통해 LLM 기반 코드 생성에서 코드 품질을 향상시키는 경량이며 모델에 종속되지 않는 프레임워크이다. 자바에서 컴파일 가능성은 9–46% 향상되었고, 파이썬에서는 10–43% 향상되었으며, NDCG@10는 0.0763 향상되었고, 잠재적인 문제를 가진 프롬프트의 80%를 최소 지연 시간(0.08–1.98초)으로 복구하였다.

ABSTRACT

In recent years, the use of automated source code generation utilizing transformer-based generative models has expanded, and these models can generate functional code according to the requirements of the developers. However, recent research revealed that these automatically generated source codes can contain vulnerabilities and other quality issues. Despite researchers' and practitioners' attempts to enhance code generation models, retraining and fine-tuning large language models is time-consuming and resource-intensive. Thus, we describe FRANC, a lightweight framework for recommending more secure and high-quality source code derived from transformer-based code generation models. FRANC includes a static filter to make the generated code compilable with heuristics and a quality-aware ranker to sort the code snippets based on a quality score. Moreover, the framework uses prompt engineering to fix persistent quality issues. We evaluated the framework with five Python and Java code generation models and six prompt datasets, including a newly created one in this work (SOEval). The static filter improves 9% to 46% Java suggestions and 10% to 43% Python suggestions regarding compilability. The average improvement over the NDCG@10 score for the ranking system is 0.0763, and the repairing techniques repair the highest 80% of prompts. FRANC takes, on average, 1.98 seconds for Java; for Python, it takes 0.08 seconds.

연구 동기 및 목표

• LLM 기반 소스 코드에서 보안 취약점과 저품질 코드의 증가 문제를 해결한다.
• 대규모 언어 모델의 고비용 피지테이닝이 필요로 하는 것을 줄이기 위해 경량의 후처리 프레임워크를 도입한다.
• 모델 재학습 없이도 개발자가 더 높은 품질, 컴파일 가능하고 안전한 코드를 확보할 수 있도록 한다.
• 정적 필터링, 품질 점수, 프롬프트 기반 복구를 통합한 구성 가능한 모델에 종속되지 않는 솔루션을 제공한다.
• 파이썬과 자바의 다양한 코드 생성 모델 및 실제 프롬프트에서의 효과를 입증한다.

제안 방법

• 휴리스틱 기반으로 비컴파일러블 코드를 제거하거나 수정하는 정적 필터를 적용하여 문법적 정확성을 향상시킨다.
• 사전 구현된 정적 분석 도구(Pmd, Checkstyle, Spotbugs 등)를 통합하여 코드 냄새와 취약점을 탐지하고 품질 점수를 산정한다.
• 여러 도구에서 유래한 통합된 품질 메트릭을 기반으로 코드 스니펫의 점수를 매기고 순위를 매기는 품질 인식 순위 매기기 시스템을 구현한다.
• LLM 기반 프롬프트 엔지니어링을 활용해 저품질 코드에 대한 복구 제안을 생성하며, 지속적인 문제에 집중한다.
• 모델 피지테이닝 없이도 필터링, 순위 매기기, 복구 단계를 거치는 모듈러하고 모델에 종속되지 않는 파이프라인을 설계한다.
• 스택 오버플로우에서 유래한 새로운 70개 프롬프트 데이터셋을 활용하여 실제 적용 가능성과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 모델 피지테이닝 없이도 경량 프레임워크가 LLM 생성 코드의 컴파일 가능성에 얼마나 기여할 수 있는가?
• RQ2 다양한 모델과 프롬프트에서 최고 품질의 코드 스니펫을 식별하는 데 있어 품질 인식 순위 매기기 시스템의 효과는 어떠한가?
• RQ3 프롬프트 엔지니어링 기법이 생성된 코드의 지속적인 품질 문제를 자동으로 복구할 수 있는가?
• RQ4 FRANC은 다양한 프로그래밍 언어(파이썬 및 자바)와 코드 생성 모델에서 어떻게 성능을 발휘하는가?
• RQ5 실시간 코드 생성 워크플로우에 적용했을 때 FRANC의 런타임 오버헤드는 어떠한가?

주요 결과

• 정적 필터는 다양한 모델을 통해 자바에서 9%에서 46%까지, 파이썬에서는 10%에서 43%까지 코드 컴파일 가능성을 향상시켰다.
• 품질 인식 순위 매기기 시스템은 평균적으로 NDCG@10에서 0.0763 향상되었으며, 인간 평가 기반 관련성과의 일치도가 높아졌다.
• 프롬프트 엔지니어링 기법은 문제를 일으키는 프롬프트의 최상위 80%를 성공적으로 복구하여 반복적인 품질 문제 해결의 효과를 입증했다.
• FRANC은 낮은 지연 시간을 기록하여 평균적으로 파이썬 코드는 0.08초, 자바 코드는 1.98초 내로 처리하여 실시간 사용에 적합했다.
• 프레임워크는 다섯 종류의 코드 생성 모델(CodeParrot, InCoder, CodeGen, PolyCoder, GPT-3.5-turbo)과 다양한 프롬프트 세트에 걸쳐 강력한 일반화 능력을 보였다.
• 재현성과 확장성을 위해 복제 팩키지와 함께 새로운 FRANC 프롬프트 데이터셋이 https://github.com/s2e-lab/FRANC 에 공개되어 있다.