[논문 리뷰] Neural Code Search Evaluation Dataset

Hongyu Li, Seohyun Kim외 1명|arXiv (Cornell University)|2019. 08. 26.

Natural Language Processing Techniques참고 문헌 4인용 수 23

한 줄 요약

이 논문은 신경망 기반 코드 검색을 평가하기 위한 벤치마크 데이터셋을 소개한다. 이 데이터셋은 287개의 Stack Overflow 자연어 쿼리와 GitHub에서 추출한 관련 코드 스니펫, 그리고 정답 수준의 메서드 매칭을 포함한다. Answered@1, Answered@5, MRR 등의 지표를 사용해 두 모델(NCS 및 UNIF)을 평가하였으며, UNIF stackoverflow 모델이 최고의 MRR 0.465를 기록하였다.

ABSTRACT

There has been an increase of interest in code search using natural language. Assessing the performance of such code search models can be difficult without a readily available evaluation suite. In this paper, we present an evaluation dataset consisting of natural language query and code snippet pairs, with the hope that future work in this area can use this dataset as a common benchmark. We also provide the results of two code search models ([1] and [6]) from recent work. The evaluation dataset is available at https://github.com/facebookresearch/Neural-Code-Search-Evaluation-Dataset

연구 동기 및 목표

• 신경망 기반 코드 검색 모델 평가를 위한 표준화된 벤치마크가 부족한 문제를 해결하기 위해.
• 실제 개발자 질문으로부터 유래한 자연어 쿼리와 대응하는 코드 스니펫 매칭을 포함한 재현 가능하고 공개된 데이터셋을 제공하기 위해.
• 일致된 평가 지표를 사용하여 코드 검색 모델 간의 체계적 비교를 가능하게 하기 위해.
• NCS 및 UNIF 모델에 대한 사전 평가된 결과를 공개하여 기준 성능 벤치마크를 제공하기 위해.
• 실제 생산 환경 규모의 코퍼스를 기반으로 자연어와 코드 간의 의미적 매핑을 학습하는 데 향후 연구를 지원하기 위해.

제안 방법

• 24,549개의 인기 있는 Android GitHub 리포지토리에서 수집한 검색 코퍼스를 구성하여 파일 경로, 메서드 이름, 라인 번호 기반으로 470만 개의 메서드 본문을 인덱싱하였다.
• 상위 투표를 받은 코드 답변이 포함된 287개의 Stack Overflow 질문-답변 쌍을 수집하였으며, 관련성, 명확성, 코퍼스 내 코드 스니펫 매칭 가능성 기준으로 필터링하였다.
• Aroma 코드 유사도 도구를 사용하여 임계값 0.25를 설정하여 코퍼스 내 메서드가 질문에 올바르게 대답하는지 자동으로 검증하였다.
• 두 모델을 구축: NCS(코퍼스에서 추출한 워드 임베딩을 사용한 비지도 학습 모델) 및 UNIF(GitHub와 Stack Overflow 데이터를 기반으로 한 어텐션 기반 신경망을 사용한 지도 학습 모델).
• NCS postrank에서 유사도 점수를 활용해 상위-k 결과를 재정렬하여 성능 향상 시켰다.
• 모든 287개의 쿼리에 대해 Answered@1, Answered@5, Answered@10, 및 평균 역수 랭크(MRR)를 사용해 성능을 보고하였다.

실험 결과

연구 질문

• RQ1 표준화되고 공개된 데이터셋이 신경망 기반 코드 검색 연구의 재현 가능성과 비교 가능성 향상에 기여할 수 있는가?
• RQ2 비지도 학습 및 지도 학습 기반 신경망 기반 코드 검색 모델은 실질적인 개발자 질문(Stack Overflow)에 대해 얼마나 잘 성능을 내는가?
• RQ3 포스트랭크 재정렬 기법이 코드 검색 모델의 상위-k 검색 성능에 얼마나 기여하는가?
• RQ4 GitHub 데이터만으로 학습한 모델과 Stack Overflow 답변 쌍으로 피니어 투닝한 모델 간의 성능 격차는 어느 정도인가?
• RQ5 자동 코드 유사도 측정 지표(예: Aroma)가 코드 검색 정확성 평가에서 인간의 판단과 얼마나 상관이 있는가?

주요 결과

• UNIF stackoverflow 모델이 가장 높은 평균 역수 랭크(MRR) 0.465를 기록하여 모든 다른 모델을 앞섰다.
• NCS postrank 모델은 기본 NCS 모델보다 성능 향상을 보였으며, Answered@1은 33에서 85로, MRR는 0.189에서 0.400으로 상승하였다.
• UNIF stackoverflow는 상위 1개 결과 내에서 104개의 정답을 기록하여, NCS(33개) 및 UNIF android(25개)를 크게 앞섰다.
• NCS 모델는 가장 낮은 성능을 보였으며, 상위 1개 결과 내에서 정답을 33개만 기록했고, MRR는 0.189였다.
• UNIF stackoverflow는 상위 10개 결과 내에서 188개의 정답을 기록하여 모든 모델 중에서 가장 높은 성능을 보였다.
• Aroma 유사도 임계값 0.25는 정확한 코드 매칭을 자동으로 식별하는 데 효과적이었으며, 확장 가능하고 재현 가능한 평가를 가능하게 하였다.