[논문 리뷰] Generating Code with the Help of Retrieved Template Functions and Stack Overflow Answers

Dawn Drain, Changran Hu외 3명|arXiv (Cornell University)|2021. 04. 12.

Software Engineering Research참고 문헌 14인용 수 6

한 줄 요약

이 논문은 CodeSearchNet에서 관련 템플릿 함수와 Stack Overflow에서의 의도-스니펫 쌍(CoNaLa)을 검색함으로써 코드 자동완성 성능을 향상시키는 검색 기반 증강 코드 생성 프레임워크를 제안한다. 검색에는 융합 표현 모델을 사용하고, 함수 서명과 검색된 참조 자료를 조건으로 하는 순차적-순차적 생성기를 적용하여, 최대 경계 재순서 정렬(MMR)을 통한 템플릿 함수 검색 시 BLEU 점수를 44% 향상시킨다.

ABSTRACT

We approach the important challenge of code autocompletion as an open-domain task, in which a sequence-to-sequence code generator model is enhanced with the ability to attend to reference code snippets supplied by a semantic code search engine. In this work, we present a novel framework to precisely retrieve template functions as well as intent-snippet pairs and effectively train such a retrieval-guided code generator. To demonstrate the effectiveness of our model designs, we perform extensive experiments with CodeSearchNet which contains template functions and CoNaLa which contains Stack Overflow intent-snippet pairs. We also investigate different retrieval models, including Elasticsearch, DPR, and our fusion representation search model, which currently holds the number one spot on the CodeSearchNet leaderboard. We observe improvements by leveraging multiple database elements and further gain from retrieving diverse data points by using Maximal Marginal Relevance. Overall, we see a 4% improvement to cross-entropy loss, a 15% improvement to edit distance, and a 44% improvement to BLEU score when retrieving template functions. We see subtler improvements of 2%, 11%, and 6% respectively when retrieving Stack Overflow intent-snippet pairs. We also create a novel Stack Overflow-Function Alignment dataset, which consists of 150K tuples of functions and Stack Overflow intent-snippet pairs that are of help in writing the associated function, of which 1.7K are manually curated.

연구 동기 및 목표

• 모델의 내부 컨텍스트 외부 참조에 접근할 수 있도록 함으로써 폐쇄책 코드 생성의 한계를 해결하기 위해.
• 관련 템플릿 함수와 Stack Overflow 답변을 참조로 검색하여 코드 자동완성 품질을 향상시키기 위해.
• 검색과 생성을 분리하여 효율성과 확장성을 확보하는 유연한 검색 유도 코드 생성 프레임워크를 설계하기 위해.
• 다양한 검색 전략(예: 최대 경계 재순서 정렬(MMR))의 영향을 코드 생성 품질에 대해 평가하기 위해.
• 미래 연구를 지원하기 위해 15만 개의 정렬된 Stack Overflow 의도-스니펫 쌍을 포함한 새로운 SOFA 데이터셋을 구축하고 공개하기 위해.

제안 방법

• 프레임워크는 함수의 문서 스트링과 서명을 기반으로 CodeSearchNet에서 관련 템플릿 함수와 CoNaLa에서 의도-스니펫 쌍을 신경망 기반 코드 검색 모델을 통해 검색한다.
• 검색은 여러 모델을 사용하여 수행되며, Elasticsearch, DPR 및 제안된 융합 표현 모델을 포함한다. 이 융합 표현 모델은 CodeSearchNet에서 최고 성능을 기록한다.
• 코드 생성기는 함수 서명, 문서 스트링 및 검색된 참조 스니펫을 조건으로 하는 사전 훈련된 순차적-순차적 트랜스포머이다.
• 검색 결과는 최대 경계 재순서 정렬(MMR)을 사용하여 재정렬되며, 유사성과 다양성의 균형을 맞추기 위해 λ = 0.5를 사용한다.
• 검색 및 생성 모듈은 별도로 훈련되어 모듈화되고 효율적인 훈련 및 추론이 가능하다.
• GitHub에서의 템플릿 함수 검색과 CoNaLa에서의 의도-스니펫 검색을 모두 지원하며, 검색 품질과 다양성에 대한 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 외부 코드 참조를 검색함으로써 모델의 내부 컨텍스트를 초월해 코드 자동완성 성능을 향상시킬 수 있는가?
• RQ2 검색 모델의 선택(예: Elasticsearch, DPR, 융합 표현)이 코드 생성 품질에 어떤 영향을 미치는가?
• RQ3 최대 경계 재순서 정렬(MMR)을 사용해 검색된 참조를 재정렬하면, 탐욕적 검색보다 더 나은 코드 생성 성능을 얻을 수 있는가?
• RQ4 CodeSearchNet(템플릿 함수)와 CoNaLa(Stack Overflow 의도-스니펫 쌍)라는 서로 다른 데이터베이스는 코드 생성 향상에 어떻게 비교되는가?
• RQ5 다양하고 중복되지 않는 참조를 검색할 경우, BLEU, 편집 거리, 교차 엔트로피 손실 등의 코드 생성 지표는 어느 정도 향상되는가?

주요 결과

• 융합 표현 모델을 사용하고 MMR 재정렬을 적용하여 CodeSearchNet에서 템플릿 함수를 검색한 결과, BLEU-4 점수는 44% 향상되었고, 편집 거리는 15% 감소했으며, 교차 엔트로피 손실은 4% 감소했다.
• MMR를 사용해 검색된 템플릿을 재정렬함으로써, 다수의 템플릿을 검색하는 것의 이점을 두 배로 높였으며, 탐욕적 검색 대비 편집 거리와 BLEU 점수 향상이 뚜렷했다.
• CoNaLa에서 Stack Overflow 의도-스니펫 쌍을 검색한 결과, BLEU-4는 6% 향상되었고, 편집 거리는 11% 향상되었으며, 교차 엔트로피 손실은 2% 감소했다. 다만, 템플릿 함수 검색에 비해 성과는 다소 떨어졌다.
• 융합 표현 모델은 CodeSearchNet에서 Elasticsearch와 DPR를 모두 능가했으며, CodeSearchNet 랭킹에서 1위를 차지했다.
• 15만 개의 수작업으로 정렬된 함수-Stack Overflow 쌍을 포함한 SOFA 데이터셋을 구축하고 공개하여 향후 검색 기반 증강 코드 생성 연구를 지원했다.
• 훈련 중 동일한 검색된 함수를 제거함으로써 열악한 행동을 방지하고 일반화 성능을 향상시켰으며, 이는 검색 필터링의 중요성을 입증했다.