[논문 리뷰] Learning Deep Semantic Model for Code Search using CodeSearchNet Corpus

Chen Wu, Ming Yan|arXiv (Cornell University)|2022. 01. 27.

Software Engineering Research인용 수 6

한 줄 요약

이 논문은 자연어 쿼리와 코드 스니펫 간의 의미적 격차를 해소하기 위해 다중 모odal 학습, 자기 주의 풀링, 융합 표현을 활용하는 딥 세미틱 모델을 제안한다. CodeSearchNet 코퍼스를 사용하여 대용량 배치 학습과 하드 음성 마이닝을 통해 훈련된 모델는 최신 기준 0.384 NDCG 스코어를 기록하며 벤치마크 도전 대회에서 1등을 차지했다.

ABSTRACT

Semantic code search is the task of retrieving relevant code snippet given a natural language query. Different from typical information retrieval tasks, code search requires to bridge the semantic gap between the programming language and natural language, for better describing intrinsic concepts and semantics. Recently, deep neural network for code search has been a hot research topic. Typical methods for neural code search first represent the code snippet and query text as separate embeddings, and then use vector distance (e.g. dot-product or cosine) to calculate the semantic similarity between them. There exist many different ways for aggregating the variable length of code or query tokens into a learnable embedding, including bi-encoder, cross-encoder, and poly-encoder. The goal of the query encoder and code encoder is to produce embeddings that are close with each other for a related pair of query and the corresponding desired code snippet, in which the choice and design of encoder is very significant. In this paper, we propose a novel deep semantic model which makes use of the utilities of not only the multi-modal sources, but also feature extractors such as self-attention, the aggregated vectors, combination of the intermediate representations. We apply the proposed model to tackle the CodeSearchNet challenge about semantic code search. We align cross-lingual embedding for multi-modality learning with large batches and hard example mining, and combine different learned representations for better enhancing the representation learning. Our model is trained on CodeSearchNet corpus and evaluated on the held-out data, the final model achieves 0.384 NDCG and won the first place in this benchmark. Models and code are available at https://github.com/overwindows/SemanticCodeSearch.git.

연구 동기 및 목표

• 자연어 쿼리와 코드 스니펫 간의 의미적 격차를 해소하기 위해 코드 검색 문제를 해결한다.
• 다양한 프로그래밍 언어 간의 교차 언어 임베딩을 공동으로 학습시켜 코드 검색 성능을 향상시킨다.
• 중간 단계의 코드 및 쿼리 임베딩의 특징 융합과 자기 주의 풀링을 통해 표현 학습을 향상시킨다.
• 실제 코드 검색 응용에 적합한 효과적이고 효율적인 모델 아키텍처를 개발한다.
• 다국어 의미적 코드 검색을 위한 CodeSearchNet 벤치마크에서 최신 기준 성능을 달성한다.

제안 방법

• 효율적인 코드 검색을 위해 양방향 인코더 아키텍처를 사용하며, 쿼리와 코드 스니펫에 대해 별도의 인코더를 갖춘다.
• 학습 가능한 주의 가중치를 사용하여 가변 길이의 코드 및 쿼리 표현을 하나의 벡터로 요약하기 위해 자기 주의 풀링을 적용한다.
• 학습 가능한 언어별 가중치를 사용하여 인코더의 다중 중간 표현을 융합하여 최종 융합 표현을 생성한다.
• 일반화 및 표현 품질 향상을 위해 대용량 배치 학습과 하드 음성 마이닝을 활용한다.
• 코드와 문서화를 파싱하고 토큰화하기 위해 TreeSitter와 BPE 토크나이저를 사용하여 어휘 크기를 줄인다.
• 긍정 쌍(쿼리, 코드) 간의 코사인 유사도를 최대화하고 음성 쌍 간의 유사도를 최소화하는 대비 손실 함수를 사용하여 모델를 훈련한다.

실험 결과

연구 질문

• RQ1 표준 풀링 방법과 비교해 복수의 중간 표현에 대한 자기 주의 풀링이 코드 검색 성능 향상에 기여하는가?
• RQ2 학습 가능한 가중치를 사용해 다중 인코더 레이어를 융합하면 코드 검색을 위한 더 나은 의미 표현 학습이 가능한가?
• RQ3 대용량 배치 학습과 하드 음성 마이닝을 통해 다국어 코드 검색에서 모델의 일반화 능력이 크게 향상되는가?
• RQ4 교차 언어 임베딩 정렬은 다양한 프로그래밍 언어 간의 제로샷 또는 피셔샷 코드 검색을 향상시키는 데 얼마나 효과적인가?
• RQ5 다중 모달 학습과 융합 및 주의 풀링과 같은 아키텍처 혁신을 조합하면 기존의 신경 기반 코드 검색 기준 모델을 초월하는가?

주요 결과

• 제안된 모델은 CodeSearchNet 벤치마크에서 평균 NDCG 스코어 0.384를 기록하여 대회에 참가한 모든 다른 모델을 압도한다.
• 자기 주의 풀링과 융합 표현을 사용한 모델(NBoW+Weighted)이 테스트 세트에서 가장 높은 성능을 기록하여 0.3841의 NDCG 스코어를 달성했다.
• 제거 실험 결과, 기준 NBoW 모델 대비 자기 주의 풀링과 표현 융합이 성능 향상에 크게 기여하는 것으로 확인되었다.
• 모델는 Go, Java, JavaScript, PHP, Python, Ruby의 여섯 가지 프로그래밍 언어에 걸쳐 강력한 일반화 능력을 보였다.
• 대용량 배치 학습과 하드 음성 마이닝을 사용함으로써 표현 학습이 향상되고, 노이즈가 많거나 모호한 쿼리에 대해 더 견고한 성능을 발휘했다.
• 최종 모델는 GitHub에 공개되어 있어 재현성과 의미적 코드 검색 분야의 향후 연구를 가능하게 한다.