[논문 리뷰] CodeGen-Test: An Automatic Code Generation Model Integrating Program Test Information

Maosheng Zhong, Gen Liu외 4명|arXiv (Cornell University)|2022. 02. 14.

Software Testing and Debugging Techniques인용 수 4

한 줄 요약

이 논문은 기능적 정확성을 향상시키기 위해 반복적 생성 과정에 프로그램 테스트 정보를 통합하는 새로운 자동 코드 생성 모델인 CodeGen-Test를 제안한다. 테스트 피드백을 통합하고 새로운 평가 지표인 Test-Acc를 사용함으로써, 기존 모델 대비 테스트 정확도에서 6%p의 절대적 향상을 달성하여, 문법적 일치를 넘어서 기능 검증이 코드 품질 향상에 기여함을 입증한다.

ABSTRACT

Automatic code generation is to generate the program code according to the given natural language description. The current mainstream approach uses neural networks to encode natural language descriptions, and output abstract syntax trees (AST) at the decoder, then convert the AST into program code. While the generated code largely conforms to specific syntax rules, two problems are still ignored. One is missing program testing, an essential step in the process of complete code implementation; the other is only focusing on the syntax compliance of the generated code, while ignoring the more important program functional requirements. The paper proposes a CodeGen-Test model, which adds program testing steps and incorporates program testing information to iteratively generate code that meets the functional requirements of the program, thereby improving the quality of code generation. At the same time, the paper proposes a new evaluation metric, test accuracy (Test-Acc), which represents the proportion of passing program test in generated code. Different from the previous evaluation metric, which only evaluates the quality of code generation from the perspective of character similarity, the Test-Acc can evaluate the quality of code generation from the Program functions. Moreover, the paper evaluates the CodeGen-test model on a python data set "hearthstone legend". The experimental results show the proposed method can effectively improve the quality of generated code. Compared with the existing optimal model, CodeGen-Test model improves the Bleu value by 0.2%, Rouge-L value by 0.3% and Test-Acc by 6%.

연구 동기 및 목표

• 현재 코드 생성 모델들이 문법적 정확성에만 초점을 맞추고 기능 검증을 忽시하는 격차를 보완하기 위해.
• 반복적 생성 과정에 프로그램 테스트 결과를 피드백으로 통합하여 코드 품질을 향상시키기 위해.
• 단순한 문법 유사도가 아닌 기능적 정확성을 측정하는 새로운 평가 지표인 Test-Acc를 제안하기 위해.
• 테스트 정보와 반복적 보완의 효과성을 검증하기 위해.

제안 방법

• 코드와 테스트 정보를 각각 처리하는 이중 인코더 아키텍처를 갖춘 시퀀스-투-시퀀스 프레임워크를 사용한다.
• 반복적 보완을 적용하여 생성된 코드를 테스트하고, 그 결과를 바탕으로 다음 생성을 이끌어내는 방식이다.
• 테스트 정보는 별도로 인코딩되어 코드 임베딩과 융합되어 디코더가 기능적으로 정확한 코드를 생성하도록 이끈다.
• 모델은 테스트 결과를 후속 반복에서의 지도 신호로 사용하여 파이썬 데이터셋(Hearthstone Legend)에서 엔드 투 엔드로 훈련된다.
• 기능적 정확성을 측정하는 데 사용되는 새로운 평가 지표인 Test-Acc를 도입한다.
• 반복 과정에서 테스트 정보와 코드 이력의 기여도를 평가하기 위해 추상화 연구(ablation studies)를 수행한다.

실험 결과

연구 질문

• RQ1 코드 생성 과정에 프로그램 테스트 피드백을 통합하면 생성된 코드의 기능적 정확성이 향상되는가?
• RQ2 테스트 정보의 통합은 코드 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ3 테스트 결과를 활용한 반복적 보완은 단일 패assing 생성에 비해 더 나은 코드 품질을 이끌어내는가?
• RQ4 제안된 Test-Acc 지표는 기능적 정확성을 평가하는 데 기존의 BLEU 및 ROUGE와 비교해 어떻게 다른가?
• RQ5 반복적 코드 생성 과정에서 최적의 반복 수는 얼마인가?

주요 결과

• CodeGen-Test는 기존 최고 성능 모델 대비 Test-Acc에서 6%p 향상되어 기능적 정확성 향상이 뚜렷하게 입증되었다.
• 최신 기술 모델 대비 BLEU 점수는 0.2%p 높고, ROUGE-L 점수는 0.3%p 높았다.
• 추상화 연구 결과, 테스트 정보와 이전 코드 이력 둘 다 최적 성능을 내기 위해 필수적이며, 전체 모델이 추상화된 버전보다 뛰어났다.
• 반복 수가 N=3까지 증가함에 따라 성능 향상이 지속되었지만, N=2를 넘어서는 데이터 희소성으로 인해 성능 향상이 정체되었다.
• 훈련 샘플 수가 반복 과정에서 크게 감소함(533에서 104로), 이는 반복적 보완에도 불구하고 향상이 제한됨을 의미한다.
• 제안된 Test-Acc 지표는 기능적 정확성을 효과적으로 반영하여, 단순히 문법 기반 지표보다 더 의미 있는 평가를 제공한다.