[논문 리뷰] CodeSearchNet Challenge: Evaluating the State of Semantic Code Search

Hamel Husain, Ho-Hsiang Wu외 3명|arXiv (Cornell University)|2019. 09. 20.

Software Engineering Research인용 수 417

한 줄 요약

이 논문은 CodeSearchNet 말뭉치와 CodeSearchNet Challenge를 소개하며 99개의 자연어 질의와 전문가 관련성 주석으로 여섯 프로그래밍 언어에 걸친 의미론적 코드 검색을 평가하고, 벤치마크 모델과 함께 리더보드를 제시한다.

ABSTRACT

Semantic code search is the task of retrieving relevant code given a natural language query. While related to other information retrieval tasks, it requires bridging the gap between the language used in code (often abbreviated and highly technical) and natural language more suitable to describe vague concepts and ideas. To enable evaluation of progress on code search, we are releasing the CodeSearchNet Corpus and are presenting the CodeSearchNet Challenge, which consists of 99 natural language queries with about 4k expert relevance annotations of likely results from CodeSearchNet Corpus. The corpus contains about 6 million functions from open-source code spanning six programming languages (Go, Java, JavaScript, PHP, Python, and Ruby). The CodeSearchNet Corpus also contains automatically generated query-like natural language for 2 million functions, obtained from mechanically scraping and preprocessing associated function documentation. In this article, we describe the methodology used to obtain the corpus and expert labels, as well as a number of simple baseline solutions for the task. We hope that CodeSearchNet Challenge encourages researchers and practitioners to study this interesting task further and will host a competition and leaderboard to track the progress on the challenge. We are also keen on extending CodeSearchNet Challenge to more queries and programming languages in the future.

연구 동기 및 목표

• 코드와 문서를 짝지어 의미론적 코드 검색을 위한 크고 현실적인 데이터셋을 제공한다.
• 전문가 관련성 레이블이 포함된 표준화된 평가 작업(CodeSearchNet Challenge)을 정의한다.
• 코드 검색 연구의 진전을 추적하기 위한 기준 모델과 평가 프로토콜을 제공한다.
• 신경망 및 IR 접근법의 향후 개선을 안내하기 위한 도전 과제와 통찰을 강조한다.

제안 방법

• 오픈 소스 저장소를 크롤링하고 함수와 가공된 문서를 짝지켜 CodeSearchNet 말뭉치를 구축한다.
• 실용적인 학습 쌍을 생성하고 무의미한 항목이나 중복 항목을 제거하기 위해 필터링 규칙으로 데이터를 전처리한다.
• 여섯 언어에 걸친 99개의 자연어 질의와 전문가가 라벨링한 관련 결과로 CodeSearchNet Challenge를 정의한다.
• 코드와 질의를 공유 벡터 공간으로 매핑하기 위한 공동 임베딩 목표를 갖춘 기본 코드 검색 모델을 개발한다(신경 인코더(NBoW, 1D-CNN, biRNN, self-attention)).
• 빠른 근사 최근접 이웃 검색을 위한 Annoy로 모든 함수를 인덱스하고 ElasticSearch 기반의 벤치마크와 비교한다.
• 훈련 작업에서 평균 역순위(MRR)로 평가하고 더 넓은 말뭉치(Within, All)에서 정규화된 할인 누적 이득(NDCG)으로 평가한다.

실험 결과

연구 질문

• RQ1 신경망 모델의 효과적인 학습을 가능하게 하면서 코드 검색 말뭉치가 얼마나 크고 시끄러울 수 있는가?
• RQ2 CodeSearchNet 설정에서 의미적 코드 검색에 대해 어떤 기준 방법(신경망 및 전통적 IR)이 가장 성능이 좋은가?
• RQ3 다양한 언어에 걸친 자연어 질의에 대해 공동 코드-질의 임베딩이 관련 코드 조각의 순위를 얼마나 잘 매기는가?
• RQ4 현대 코드 검색 방법 및 데이터세트의 실제적 도전과제와 한계는 무엇인가?
• RQ5 MRR 및 NDCG와 같은 평가 지표가 주석이 달린 부분과 전체 말뭉치 모두에서의 성능을 어떻게 반영하는가?

주요 결과

• CodeSearchNet 말뭉치는 여섯 언어에 걸쳐 약 650만 개의 함수와 대략 230만 개의 함수-문서 쌍을 포함한다.
• 기준 신경 모델은 다양한 성능을 보이며, 자기 주의(Self-attention)와 단순 가방 단어(BOW) 접근 방식이 작업과 설정에 따라 강력한 결과를 보인다.
• ElasticSearch는 키워드 기반 코드 검색에서 여전히 경쟁력 있는 벤치마크로 남아 있으며, 렉셜 매칭을 넘어 의미를 활용하는 어려움을 강조한다.
• NDCG 결과가 주석이 달린 부분(Within)과 전체 말뭉치(All)에서 평가할 때 다르며, 주석의 한계와 데이터의 노이즈를 강조한다.
• 주석자 간 관련성 일치도는 보통이며, 코드 검색 작업의 모호성 및 맥락으로 인한 주관적 판단을 나타낸다.
• 정성적 관찰은 코드 품질, 질의의 모호성, 프로젝트 특정 코드, 질의를 코드와 매칭할 때 맥락 및 방향성의 정확성의 중요성과 같은 문제를 가리킨다.