[논문 리뷰] SkCoder: A Sketch-based Approach for Automatic Code Generation

Jia Li, Yongmin Li외 4명|arXiv (Cornell University)|2023. 02. 13.

Software Engineering Research인용 수 5

한 줄 요약

SkCoder는 인간 개발자의 재사용 행동을 모방함으로써 자동 코드 생성을 향상시키는 스케치 기반 코드 생성 프레임워크이다: 유사한 코드 스니펫을 검색하고, 관련 있는 코드 스케치(재사용 가능한 패턴)를 추출한 후, 자연어 요구사항에 맞게 편집한다. 이 방법은 여러 모델과 데이터셋에서 정확도 일치율(Exact Match) 기준 최대 30.30% 향상되고 Pass@1 기준 최대 120.1% 향상되어 최신 기술(SOTA) 모델을 초월한다.

ABSTRACT

Recently, deep learning techniques have shown great success in automatic code generation. Inspired by the code reuse, some researchers propose copy-based approaches that can copy the content from similar code snippets to obtain better performance. Practically, human developers recognize the content in the similar code that is relevant to their needs, which can be viewed as a code sketch. The sketch is further edited to the desired code. However, existing copy-based approaches ignore the code sketches and tend to repeat the similar code without necessary modifications, which leads to generating wrong results. In this paper, we propose a sketch-based code generation approach named SkCoder to mimic developers' code reuse behavior. Given a natural language requirement, SkCoder retrieves a similar code snippet, extracts relevant parts as a code sketch, and edits the sketch into the desired code. Our motivations are that the extracted sketch provides a well-formed pattern for telling models "how to write". The post-editing further adds requirement-specific details to the sketch and outputs the complete code. We conduct experiments on two public datasets and a new dataset collected by this work. We compare our approach to 20 baselines using 5 widely used metrics. Experimental results show that (1) SkCoder can generate more correct programs, and outperforms the state-of-the-art - CodeT5-base by 30.30%, 35.39%, and 29.62% on three datasets. (2) Our approach is effective to multiple code generation models and improves them by up to 120.1% in Pass@1. (3) We investigate three plausible code sketches and discuss the importance of sketches. (4) We manually evaluate the generated code and prove the superiority of our SkCoder in three aspects.

연구 동기 및 목표

• 코드 복사 기반 모델의 한계를 해결하기 위해, 필요 없는 수정 없이 전체 코드 스니펫을 반복 복제하는 방식을 개선하기 위해.
• 인간 개발자의 코드 재사용 행동을 모델링하기 위해, 관련 있는 부분(코드 스케치)만 추출하고 적응시키는 방식을 적용하기 위해.
• 검색, 스케치 추출, 요구사항 인식 편집을 조합하여 코드 생성 정확도를 향상시키기 위해.
• 다양한 모델과 데이터셋에서 코드 스케치의 효과를 평가하기 위해, 특히 새로운 20만 건 규모의 자바 데이터셋을 포함하여.
• 스케치 기반 편집이 직접 복사 방식에 비해 코드 생성 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 검색기 모듈은 밀도 기반 검색 방법을 사용하여 코퍼스에서 의미적으로 유사한 코드 스니펫을 선택한다.
• 스케처 모듈은 자연어 요구사항에 기반하여 검색된 스니펫에서 관련 있는 코드 부분만 식별하고 추출한다.
• 추출된 코드 스케치는 대상 코드 생성을 위한 구조적 템플릿으로 기능한다.
• 편집기 모듈은 요구사항에 특화된 세부 정보를 삽입하여 스케치를 수정하고 최종 코드를 생성한다.
• 일반화 능력을 평가하기 위해 다양한 코드 생성 모델(예: CodeT5, GPT 기반)과 통합한다.
• 공개 및 신규 수집된 데이터셋에서 표준 메트릭(EM, BLEU, CodeBLEU, Pass@1, AvgPassRatio)을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 스케치 기반 접근 방식이 기존의 복사 기반 방법보다 코드 생성에서 우월한가?
• RQ2 코드 스케치 추출은 얼마나 효과적인가? 특히 어떤 스케치 설계 선택지가 최고의 성능을 낳는가?
• RQ3 스케치 기반 편집 메커니즘이 다양한 모델에서 코드 생성 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법은 다양한 프로그래밍 언어와 코드 생성 작업에 일반화되는가?
• RQ5 스케치 포함 여부가 모델의 강건성과 정확도, 특히 단위 테스트 평가에서 어떤 영향을 미치는가?

주요 결과

• 세 개의 데이터셋에서 SkCoder는 SOTA 모델인 CodeT5-base를 각각 30.30%, 35.39%, 29.62% 향상시켜 정확도 일치율에서 승리한다.
• 신규 수집된 AixBench-L 데이터셋에서 SkCoder는 SOTA 기반 모델 대비 Pass@1을 12.9% 향상시키고 AvgPassRatio를 8.49% 향상시켰다.
• 제거 실험(ablation study) 결과, 스케처 및 검색기 모듈을 추가함으로써 다양한 모델에서 Pass@1이 최대 120.1% 향상됨을 확인하였다.
• 세 가지의 별도된 스케치 설계 선택지를 평가하였으며, 결과는 스케치의 관련성과 구조가 성능에 핵심적임을 확인하였다.
• 수동 평가 결과, SkCoder가 생성한 코드는 베이스라인에 비해 더 정확하고 가독성이 뛰어나며 요구사항과 의미적으로 잘 일치함을 확인하였다.
• 이 프레임워크는 강력한 일반화 능력을 보이며, CodeT5, GPT 기반, 인코더-디코더 아키텍처를 포함한 다양한 모델을 향상시켰다.