[논문 리뷰] CSRS: Code Search with Relevance Matching and Semantic Matching

Yi Cheng, Li Kuang|arXiv (Cornell University)|2022. 03. 15.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 신경 정보 검색을 통한 어휘적 관련성 매칭과 공액 주의 기반의 의미 매칭을 동시에 활용하여 코드 검색 성능을 햖थन하는 CSRS라는 코드 검색 모델을 제안한다. 다중 크기의 컨볼루션 커널을 통한 n-그램 임베딩, 관련성 매칭 모듈, 의미 매칭 모듈을 조합함으로써 CSRS는 대규모 코드 검색 데이터셋에서 MRR 0.614를 달성하여 최신 기술인 DeepCS와 CARLCS-CNN보다 각각 33.77%, 18.53% 높은 성능을 기록한다.

ABSTRACT

Developers often search and reuse existing code snippets in the process of software development. Code search aims to retrieve relevant code snippets from a codebase according to natural language queries entered by the developer. Up to now, researchers have already proposed information retrieval (IR) based methods and deep learning (DL) based methods. The IR-based methods focus on keyword matching, that is to rank codes by relevance between queries and code snippets, while DL-based methods focus on capturing the semantic correlations. However, the existing methods do not consider capturing two matching signals simultaneously. Therefore, in this paper, we propose CSRS, a code search model with relevance matching and semantic matching. CSRS comprises (1) an embedding module containing convolution kernels of different sizes which can extract n-gram embeddings of queries and codes, (2) a relevance matching module that measures lexical matching signals, and (3) a co-attention based semantic matching module to capture the semantic correlation. We train and evaluate CSRS on a dataset with 18.22M and 10k code snippets. The experimental results demonstrate that CSRS achieves an MRR of 0.614, which outperforms two state-of-the-art models DeepCS and CARLCS-CNN by 33.77% and 18.53% respectively. In addition, we also conducted several experiments to prove the effectiveness of each component of CSRS.

연구 동기 및 목표

• 기존의 코드 검색 방법이 키워드 매칭이나 의미 이해 중 하나에만 집중할 뿐, 동시에 둘을 고려하지 않는 한계를 해결하기 위해.
• 자연어 쿼리와 코드 스니펫 간의 어휘 수준의 관련성과 의미 수준의 상관관계를 동시에 포착할 수 있는 통합된 딥러닝 모델을 설계하기 위해.
• 단일 아키텍처 내에서 신경 정보 검색 기법과 주의 기반 의미 매칭을 통합하여 코드 검색 성능을 향상시키기 위해.
• 절단 연구를 통해 제안된 모델의 각 구성 요소의 효과를 실증적으로 검증하기 위해.

제안 방법

• 모델은 쿼리와 코드 스니펫의 n-그램 임베딩을 추출하기 위해 다수의 커널 크기(1, 2, 3)를 가진 컨볼루션 기반 임베딩 모듈을 사용한다.
• 신경 정보 검색 기반의 관련성 매칭 모듈은 n-그램 특징에 대한 학습된 주의를 통해 쿼리와 코드 임베딩 간의 상호작용 점수를 계산하여 어휘적 겹침을 포착한다.
• 의미 매칭 모듈에서는 공액 주의 기법을 사용하여 쿼리와 코드의 관련 부분을 동적으로 정렬하고 주의를 기울여 더 깊은 의미적 상관관계를 포착한다.
• 관련성 점수와 의미 매칭 점수가 융합되어 코드 스니펫 순서 매기기 위한 최종 관련성 점수를 계산하는 데 사용된다.
• 모델은 오픈소스 자바 프로젝트에서 유래한 1822만 개의 학습 및 1만 개의 테스트 쿼리-코드 쌍으로 구성된 대규모 데이터셋에서 엔드 투 엔드로 훈련된다.
• 모델 구성 요소는 절단 연구를 통해 각 모듈과 특징 유형(예: 메서드 이름, API 시퀀스, 코드 토큰)의 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 어휘적 관련성 매칭과 의미 매칭을 조합함으로써 현재 최고 수준의 모델을 뛰어넘는 코드 검색 성능 향상을 달성할 수 있는가?
• RQ2 제안된 관련성 매칭 모듈이 쿼리와 코드 스니펫 간의 키워드 수준 유사성을 얼마나 효과적으로 포착하는가?
• RQ3 다양한 입력 특징(예: 메서드 이름, API 시퀀스, 코드 토큰)이 전체 모델 성능에 기여하는 정도는 어떠한가?
• RQ4 임베딩 모듈 내에서 다양한 컨볼루션 커널 크기가 모델의 검색 효율성에 미치는 영향은 어떠한가?

주요 결과

• CSRS는 MRR 0.614를 달성하여 DeepCS(MRR 0.459)와 CARLCS-CNN(MRR 0.518)를 각각 33.77%, 18.53% 뛰어넘는 성능을 기록한다.
• 메서드 이름, API 시퀀스, 코드 토큰의 세 가지 입력 특징을 모두 포함한 전체 모델이 가장 높은 성능을 기록하였으며, 그 중 메서드 이름이 가장 영향력 있는 개별 특징이었다.
• 임베딩 모듈에서 세 가지 다른 컨볼루션 커널 크기(1, 2, 3)를 사용할 경우가 가장 우수한 성능을 내었으며, 커널 크기 1이 가장 기여도가 높고, 조합이 최적임을 확인하였다.
• 절단 연구 결과, 관련성 매칭 모듈과 의미 매칭 모듈 둘 다 필수적이며, 둘 중 하나를 제거하면 성능이 크게 저하됨을 확인하였다.
• 질적 사례 분석을 통해 CSRS는 'null', 'index'와 같은 어휘적 겹침뿐 아니라 'out of range'라는 의미적 이해(예: '범위를 초과')를 바탕으로도 관련 코드 스니펫을 성공적으로 검색함을 보였다.
• 모델는 정확한 키워드 매칭이 아닌 의미적 동치성에 기반한 다양한 쿼리에 대해서도 강건성을 보였다.