[논문 리뷰] A Case Study on the Impact of Similarity Measure on Information Retrieval based Software Engineering Tasks

Md. Masudur Rahman, Saikat Chakraborty외 2명|arXiv (Cornell University)|2018. 08. 08.

Software Engineering Research참고 문헌 8인용 수 3

한 줄 요약

이 논문은 소프트웨어 공학(Software Engineering, SE) 작업에서 다양한 유사도 측정 방법이 정보 검색(IR) 성능에 미치는 영향을 조사한다. 텍스트 및 코드 자료에 대해 VSM, LSI, BM25, WMD를 평가하며, 맥락 인식 모델(LSI, WMD)이 텍스트에서 뛰어난 성능을 보이며, 단어 집합 기반 모델이 코드에서 더 뛰어나다는 것을 발견한다. 또한 BM25는 혼합 텍스트-코드 작업에서 가장 균형 잡힌 성능을 보이며, SE 도구의 효과성을 높이기 위해서는 자료 유형에 따라 모델 선택이 이뤄져야 한다는 것을 입증한다.

ABSTRACT

Information Retrieval (IR) plays a pivotal role in diverse Software Engineering (SE) tasks, e.g., bug localization and triaging, code retrieval, requirements analysis, etc. The choice of similarity measure is the core component of an IR technique. The performance of any IR method critically depends on selecting an appropriate similarity measure for the given application domain. Since different SE tasks operate on different document types like bug reports, software descriptions, source code, etc. that often contain non-standard domain-specific vocabulary, it is essential to understand which similarity measures work best for different SE documents. This paper presents two case studies on the effect of different similarity measure on various SE documents w.r.t. two tasks: (i) project recommendation: finding similar GitHub projects and (ii) bug localization: retrieving buggy source file(s) correspond to a bug report. These tasks contain a diverse combination of textual (i.e. description, readme) and code (i.e. source code, API, import package) artifacts. We observe that the performance of IR models varies when applied to different artifact types. We find that, in general, the context-aware models achieve better performance on textual artifacts. In contrast, simple keyword-based bag-of-words models perform better on code artifacts. On the other hand, the probabilistic ranking model BM25 performs better on a mixture of text and code artifacts. We further investigate how such an informed choice of similarity measure impacts the performance of SE tools. In particular, we analyze two previously proposed tools for project recommendation and bug localization tasks, which leverage diverse software artifacts, and observe that an informed choice of similarity measure indeed leads to improved performance of the existing SE tools.

연구 동기 및 목표

• 다양한 소프트웨어 공학 자료 유형에서 유사도 측정 방법 선택이 IR 성능에 미치는 영향을 이해하는 것.
• VSM, LSI, BM25, WMD의 효과성을 다양한 유형의 SE 문서(텍스트 기반 및 코드 기반)에서 평가하는 것.
• 유지보수된 IR 기반 SE 도구의 프로젝트 추천 및 버그 로컬라이제이션에 있어, 자료 유형에 기반한 적절한 유사도 측정 방법 선택이 성능 향상에 기여하는지 조사하는 것.
• 최적의 SE 도구 성능을 위해 유사도 측정 방법을 문서 유형에 맞게 매칭하는 데 있어 경험적 지침을 제공하는 것.

제안 방법

• 두 가지 사례 연구를 수행: 프로젝트 추천(1,832개의 GitHub 프로젝트) 및 버그 로컬라이제이션(1,100개의 버그 보고서).
• 네 가지 유사도 측정 방법 평가: 벡터 공간 모델(VSM), 잠재의미인덱싱(LSI), BM25, 워드 무브어의 거리(WMD).
• 모든 모델 간 공정한 비교를 위해 표준화된 전처리(불용어 제거, 어간 추출)를 적용.
• 레이블링된 관련성 평가 기반으로 표준 IR 평가 지표(예: 정밀도, 재현율, MAP)를 사용해 성능 측정.
• 순수 텍스트, 순수 코드, 혼합 텍스트-코드 자료 유형별로 모델 성능를 별도로 분석.
• 최적화된 유사도 측정 방법을 사용해 기존 두 가지 SE 도구(프로젝트 추천 및 버그 로컬라이제이션)를 재평가하여 성능 향상 여부를 평가.

실험 결과

연구 질문

• RQ1 다양한 소프트웨어 자료 유형에서 IR 기반 프로젝트 추천에 가장 잘 작동하는 유사도 측정 방법은 무엇인가요?
• RQ2 버그 보고서에서 버그가 있는 소스 파일을 검색할 때 IR 모델의 성능는 어떻게 변할까요?
• RQ3 자료 유형에 따라 유사도 측정 방법을 선택하면 기존 SE 도구의 성능 향상에 기여할 수 있나요?
• RQ4 맥락 인식 모델(LSI, WMD)과 키워드 기반 모델(VSM, BM25)은 자연어 자료와 코드 자료에서 어떻게 비교될 수 있나요?

주요 결과

• 맥락 인식 모델인 LSI와 WMD는 버그 보고서나 프로젝트 설명과 같은 순수 텍스트 자료에서 뛰어난 성능을 보인다.
• 간단한 단어 집합 기반 모델인 VSM은 소스 코드의 구조적이고 낮은 애매성의 특성 덕분에 코드 자료에서 더 뛰어난 성능을 보인다.
• BM25는 혼합 텍스트-코드 자료에서 가장 균형 잡힌 성능을 보이며, 다양한 문서 유형 간 효과성을 조화롭게 유지한다.
• 기존 SE 도구를 작업에 맞는 유사도 측정 방법으로 재구성함으로써 측정 가능한 성능 향상이 이루어졌으며, 이는 정보에 기반한 모델 선택의 영향력을 검증한다.
• 이 연구는 모든 자료 유형에서 최적의 성능을 내는 단일 유사도 측정 방법이 존재하지 않으며, 모델 선택은 데이터 기반이고 자료 유형을 고려해야 한다는 점을 확인한다.