[논문 리뷰] A Systematic Literature Review of Automated Query Reformulations in Source Code Search.

Mohammad Masudur Rahman, Chanchal K. Roy|arXiv (Cornell University)|2021. 08. 22.

Software Engineering Research참고 문헌 170인용 수 4

한 줄 요약

이 체계적 문헌 리뷰는 소스 코드 검색에서 자동화된 쿼리 재구성에 관한 70개의 주요 연구를 분석하여, 용어 가중치 부여 및 어휘사전 검색과 같은 여덟 가지 핵심 방법론을 규명하였으며, 어휘 불일치 및 평가의 열악함과 같은 주요 한계를 드러냈다. 본 연구는 일반화 가능성과 개발자 부담의 심각한 격차를 강조하며, 개발자들이 코드 검색 효율성을 높일 수 있도록 향후 연구 방향을 제시한다.

ABSTRACT

Software developers often fix critical bugs to ensure the reliability of their software. They might also need to add new features to their software at a regular interval to stay competitive in the market. These bugs and features are reported as change requests (i.e., technical documents written by software users). Developers consult these documents to implement the required changes in the software code. As a part of change implementation, they often choose a few important keywords from a change request as an ad hoc query. Then they execute the query with a code search engine (e.g., Lucene) and attempt to find out the exact locations within the software code that need to be changed. Unfortunately, even experienced developers often fail to choose the right queries. As a consequence, the developers often experience difficulties in detecting the appropriate locations within the code and spend the majority of their time in numerous trials and errors. There have been many studies that attempt to support developers in constructing queries by automatically reformulating their ad hoc queries. In this systematic literature review, we carefully select 70 primary studies on query reformulations from 2,970 candidate studies, perform an in-depth qualitative analysis using the Grounded Theory approach, and then answer six important research questions. Our investigation has reported several major findings. First, to date, eight major methodologies (e.g., term weighting, query-term co-occurrence analysis, thesaurus lookup) have been adopted in query reformulation. Second, the existing studies suffer from several major limitations (e.g., lack of generalizability, vocabulary mismatch problem, weak evaluation, the extra burden on the developers) that might prevent their wide adoption. Finally, we discuss several open issues in search query reformulations and suggest multiple future research opportunities.

연구 동기 및 목표

• 개발자가 소스 코드 검색을 위한 효과적인 즉석 쿼리를 구성하는 데 어려움을 겪고, 이로 인해 시간이 많이 소요되는 시행착오 과정을 해결하기 위해.
• 소프트웨어 유지보수 작업에서 검색 정밀도와 재현율을 향상시키기 위해 자동화된 쿼리 재구성에 사용된 방법론을 규명하고 분류하기 위해.
• 기존 접근 방식의 한계를 평가하기 위해, 어휘 불일치, 평가 방법의 열악함, 일반화 가능성 부족 등을 포함한다.
• 쿼리 재구성 시스템의 개발자들에 의한 도입을 저해하는 열린 문제들을 규명하고, 향후 연구 기회를 제안하기 위해.

제안 방법

• 2,970개의 후보 연구를 대상으로 체계적 문헌 리뷰를 수행하여 사전 정의된 포함 및 배제 기준에 따라 70개의 주요 연구를 선별하였다.
• 선택된 연구에 대한 깊이 있는 정성적 분석을 위해 기초 이론(Grounded Theory) 접근법을 적용하여 반복적인 주제와 방법론을 규명하였다.
• 쿼리 재구성 기법을 여덟 가지 주요 방법론으로 분류하였다: 용어 가중치 부여, 쿼리어휘 공존 분석, 어휘사전 검색 등.
• 시험 데이터셋, 평가 지표, 재현 가능성 등을 포함한 평가 관행을 기반으로 기존 연구의 질과 철학적 엄밀함을 평가하였다.
• 반복적인 한계와 연구 격차를 규명하기 위해 연구 결과를 통합 분석하였다.

실험 결과

연구 질문

• RQ1 소스 코드 검색을 위한 자동화된 쿼리 재구성에서 지배적인 방법론은 무엇인가?
• RQ2 실제 소프트웨어 개발 환경에서 기존 쿼리 재구성 접근 방식의 핵심 한계는 무엇인가?
• RQ3 현재 연구들은 쿼리 재구성 기법의 효과성을 어떻게 평가하고 있으며, 평가 전략에서 나타나는 단점은 무엇인가?
• RQ4 개발자들이 쿼리 재구성 시스템을 도입하는 데 걸림돌이 되는 열린 문제들과 과제는 무엇인가?
• RQ5 자동화된 쿼리 재구성의 일반화 가능성과 실용적 유용성을 향상시키기 위한 향후 연구 방향은 무엇인가?

주요 결과

• 용어 가중치 부여, 쿼리어휘 공존 분석, 어휘사전 검색 등과 같은 여덟 가지 주요 방법론이 쿼리 재구성 연구에서 채택되었다.
• 기존 연구들은 다양한 코드베이스와 프로그래밍 언어 간 일반화 가능성 부족과 같은 심각한 한계를 겪고 있다.
• 쿼리어휘와 관련 코드베이스 어휘 간 불일치 문제는 여전히 뿌리내린 도전 과제로 남아 있다.
• 연구들의 평가 관행은 종종 열악하며, 표준화된 벤치마크, 재현 가능한 결과, 실제 환경 검증의 부족한 사용이 특징이다.
• 많은 접근 방식이 개발자들에게 추가 부담을 안기며, 수동 설정이나 도메인 특화 튜닝이 필요하여 실용적 도입을 저해한다.
• 진전이 있었음에도 불구하고, 다양한 소프트웨어 시스템 전반에서 어떤 한 방법론도 항상 다른 것들보다 뛰어나지 못함을 시사하며, 더 견고하고 적응 가능한 솔루션이 필요하다.