[논문 리뷰] Generation-Augmented Query Expansion For Code Retrieval

Dong Li, Yelong Shen외 4명|arXiv (Cornell University)|2022. 12. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어 쿼리에서 코드 스니펫을 생성하고 이를 쿼리 확장에 사용하여 코드 검색 성능을 향상시키는 새로운 이단계 프레임워크인 생성 보강 코드 검색(GACR)을 제안한다. 원래의 문서화된 설명과 의미적으로 풍부한 생성된 코드를 융합함으로써, GACR는 6개 프로그래밍 언어에서 CodeSearchNet 벤치마크에서 최신 기술 성능(SOTA)을 달성하며 기존 검색 모델들을 크게 능가한다.

ABSTRACT

Pre-trained language models have achieved promising success in code retrieval tasks, where a natural language documentation query is given to find the most relevant existing code snippet. However, existing models focus only on optimizing the documentation code pairs by embedding them into latent space, without the association of external knowledge. In this paper, we propose a generation-augmented query expansion framework. Inspired by the human retrieval process - sketching an answer before searching, in this work, we utilize the powerful code generation model to benefit the code retrieval task. Specifically, we demonstrate that rather than merely retrieving the target code snippet according to the documentation query, it would be helpful to augment the documentation query with its generation counterpart - generated code snippets from the code generation model. To the best of our knowledge, this is the first attempt that leverages the code generation model to enhance the code retrieval task. We achieve new state-of-the-art results on the CodeSearchNet benchmark and surpass the baselines significantly.

연구 동기 및 목표

• 기존 코드 검색 모델이 외부 지식을 활용하지 않고 단지 임bedding 유사도에 의존하는 한계를 해결하기 위해.
• 코드 생성 모델이 의미적으로 더 풍부한 쿼리 확장을 제공함으로써 검색 성능을 향상시킬 수 있는지 조사하기 위해.
• 자연어 문서화된 설명과 생성된 코드를 효과적으로 융합하여 개선된 표현 학습을 위한 융합 메커니즘을 설계하기 위해.
• 생성 보강 쿼리 확장이 자연어와 코드 간의 의미적 격차를 메우는 데 효과적인지 입증하기 위해.

제안 방법

• 사전 훈련된 코드 생성 모델(예: Codex)을 사용하여 주어진 자연어 문서화된 쿼리에서 코드 스니펫을 생성한다.
• 원래의 자연어 기술 설명과 생성된 코드 스니펫을 결합하여 확장된 쿼리를 구성한다.
• 자연어와 생성된 코드 표현 양쪽에서 특징을 학습하고 융합하기 위해 이중 표현 주의 메커니즘을 활용한다.
• 증강된 쿼리를 기반으로 검색 모델(예: GraphCodeBERT)을 훈련하여 관련 코드 스니펫과의 의미적 매칭을 향상시킨다.
• 단일 및 다중 생성된 코드 스니펫과 같은 다양한 변형을 탐색하여 다양한 설정 하에서의 성능과 내구성을 평가한다.
• 대비 학습과 미세조정을 통해 증강된 쿼리-코드 쌍에서 검색 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 코드 생성 모델은 코드 검색 작업에서 자연어 쿼리의 의미적 표현력을 향상시킬 수 있는가?
• RQ2 문서화된 쿼리에 생성된 코드를 융합할 경우, 원래 쿼리만 사용하는 것과 비교해 검색 성능에 어떤 영향을 미치는가?
• RQ3 코드 검색에서 쿼리 확장을 위해 자연어와 생성된 코드 표현을 최적으로 조합하는 방법은 무엇인가?
• RQ4 생성된 코드의 품질이 검색 정확도에 상당한 영향을 미치는가? 그리고 생성 모델의 중간 은닉 표현을 사용하는 것과 비교해 볼 때 어떻게 다른가?
• RQ5 제안된 방법은 다양한 프로그래밍 언어와 다양한 쿼리 길이에 대해 어떻게 일반화되는가?

주요 결과

• GACR는 평가된 6개 프로그래밍 언어 전반에서 기존의 GraphCodeBERT 및 CodeRetriever 등의 모델들을 능가하며 CodeSearchNet 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.
• 32토큰 쿼리 길이에서 GACR는 CodeSearchNet 벤치마크에서 총 검색 정확도 0.796을 기록하며 베이스라인보다 향상된 성능을 보였다.
• 생성된 코드를 쿼리 확장에 사용할 경우, 원래의 문서화된 설명 쿼리만 사용하는 것과 비교해 검색 성능이 10.5% 상대적으로 향상되었다.
• 생성된 코드를 증강 소스로 사용하는 것이 생성 모델의 중간 은닉 표현을 사용하는 것보다 우수했으며, 임베딩 기반 증강보다 14.7% 상대적으로 향상된 성능을 기록했다.
• 모든 프로그래밍 언어에서 성능 향상이 일관되게 관찰되었으며, 특히 파이썬과 고(Go)에서 가장 높은 향상률을 보였다.
• 절단 실험을 통해 이중 표현 주의 메커니즘이 교차 모odal 의미를 효과적으로 포착하며, 다양한 쿼리 길이에서도 모델이 강인함을 확인했다.