[논문 리뷰] Bridging Semantic Gaps between Natural Languages and APIs with Word Embedding

Xiaochen Li, He Jiang외 2명|arXiv (Cornell University)|2018. 10. 23.

Software Engineering Research참고 문헌 51인용 수 4

한 줄 요약

이 논문은 자연어 쿼리와 API 사이의 의미적 격차를 해소하기 위해 단어와 API를 공유 벡터 공간에서 동시 모델링하는 Word2API를 제안한다. GitHub 소스 코드와 주석에서 수백만 개의 단어-API 쌍을 추출하고, 정렬 전략을 적용하여 이를 정렬함으로써, 정밀도와 NDCG에서 기존 방법 대비 10%~49.6% 향상된 관련성 추정 성능을 달성하며, 소프트웨어 공학 분야의 쿼리 확장 및 API 문서 연결 작업에서 기존 방법을 능가한다.

ABSTRACT

Developers increasingly rely on text matching tools to analyze the relation between natural language words and APIs. However, semantic gaps, namely textual mismatches between words and APIs, negatively affect these tools. Previous studies have transformed words or APIs into low-dimensional vectors for matching; however, inaccurate results were obtained due to the failure of modeling words and APIs simultaneously. To resolve this problem, two main challenges are to be addressed: the acquisition of massive words and APIs for mining and the alignment of words and APIs for modeling. Therefore, this study proposes Word2API to effectively estimate relatedness of words and APIs. Word2API collects millions of commonly used words and APIs from code repositories to address the acquisition challenge. Then, a shuffling strategy is used to transform related words and APIs into tuples to address the alignment challenge. Using these tuples, Word2API models words and APIs simultaneously. Word2API outperforms baselines by 10%-49.6% of relatedness estimation in terms of precision and NDCG. Word2API is also effective on solving typical software tasks, e.g., query expansion and API documents linking. A simple system with Word2API-expanded queries recommends up to 21.4% more related APIs for developers. Meanwhile, Word2API improves comparison algorithms by 7.9%-17.4% in linking questions in Question&Answer communities to API documents.

연구 동기 및 목표

• 소프트웨어 공학 분야에서 효과적인 정보 검색을 방해하는 자연어 쿼리와 API 사이의 의미적 격차를 해소하기 위해.
• 단어나 API를 별도로 모델링하는 기존 방법의 한계를 극복하여 관련성 추정의 정확도를 높이기 위해.
• 실제 코드 저장소에서 대규모이고 다양한 단어-API 쌍을 확보하기 위한 확장 가능한 접근법을 개발하기 위해.
• 쿼리 확장 및 API 문서 연결과 같은 더 정확하고 효과적인 소프트웨어 공학 작업을 가능하게 하기 위해.
• 공유된 벡터 공간에서 단어와 API를 동시에 모델링하여 의미적 관련성 추정 성능을 향상시키기 위해.

제안 방법

• Word2API는 GitHub 소스 코드와 메서드 주석에서 수백만 개의 단어-API 쌍을 수집하여 확보 과제를 해결한다.
• 휴리스틱 규칙을 사용해 메서드 주석에서 단어를 추출하고 소스 코드에서 API를 추출하여 의미적 관련성을 보장한다.
• 동일한 메서드에서 유래한 단어와 API를 조합하여 단어-API 튜플을 형성함으로써 맥락적 관계를 유지한다.
• 각 튜플 내에서 단어와 API를 무작위로 재정렬하는 정렬 전략을 적용하여 다양한 훈련 샘플을 생성하고 정렬 성능을 향상시킨다.
• 이러한 셔플된 튜플을 사용해 공동 임베딩 모델을 훈련시키며, 단어와 API 간의 의미적 유사성을 반영하는 저차원 벡터를 학습한다.
• 임베딩 공간의 단어-API 관련성 최적화를 위해 Word2Vec와 유사한 스위프트그램과 음성 샘플링 기법을 사용한다.

실험 결과

연구 질문

• RQ1 공동 임베딩 모델은 자연어 단어와 API 간의 의미적 관련성을 효과적으로 추정할 수 있는가?
• RQ2 다양한 평가 지표에서 Word2API는 기존 방법 대비 관련성 추정 성능에서 어떻게 성능을 내는가?
• RQ3 Word2API는 코드 검색 및 API 추천 작업에서 쿼리 확장 기능을 얼마나 향상시킬 수 있는가?
• RQ4 Word2API는 Q&A 커뮤니티에서 소프트웨어 질문을 관련 API 문서에 연결하는 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 정렬 전략은 단어-API 관계의 보다 우수한 정렬과 표현에 어떤 기여를 하는가?

주요 결과

• Word2API는 기존 기준 방법 대비 정밀도와 NDCG에서 10%~49.6% 향상된 관련성 추정 성능을 확보했다.
• 쿼리 확장 작업에서 Word2API를 사용하는 시스템은 기존 시스템 대비 최대 21.4% 더 많은 관련 API를 추천했다.
• Stack Overflow 질문을 관련 API 문서에 연결하는 데 있어 Word2API는 기존 비교 알고리즘 대비 7.9%~17.4% 향상된 성능을 보였다.
• Word2API는 단어-API 관련성 추정과 소프트웨어 공학 분야의 후행 작업 모두에서 뛰어난 성능을 달성했다.
• 정렬 전략은 단어와 API 간의 정렬을 크게 향상시켜 의미적 관계의 공동 모델링을 보다 효과적으로 가능하게 했다.
• Word2API는 코드 검색 및 API 추천과 같은 다양한 프로그래밍 작업에 대해 뛰어난 일반화 능력을 보였다.