[논문 리뷰] Code Search: A Survey of Techniques for Finding Code

Luca Di Grazia, Michael Pradel|arXiv (Cornell University)|2022. 04. 06.

Software Engineering Research인용 수 6

한 줄 요약

이 종합 검토는 30년에 걸친 코드 검색 연구를 종합적으로 다루며, 쿼리 유형, 사전 처리, 인덱싱, 검색, 순위 매기기 및 잘라내기 기법을 분석한다. 자연어 쿼리, 다국어 검색, 향후 코드 검색 시스템 연구를 지원하기 위한 보다 나은 벤치마크와 평가 방법의 필요성 등을 포함한 핵심 과제와 기회를 규명한다.

ABSTRACT

The immense amounts of source code provide ample challenges and opportunities during software development. To handle the size of code bases, developers commonly search for code, e.g., when trying to find where a particular feature is implemented or when looking for code examples to reuse. To support developers in finding relevant code, various code search engines have been proposed. This article surveys 30 years of research on code search, giving a comprehensive overview of challenges and techniques that address them. We discuss the kinds of queries that code search engines support, how to preprocess and expand queries, different techniques for indexing and retrieving code, and ways to rank and prune search results. Moreover, we describe empirical studies of code search in practice. Based on the discussion of prior work, we conclude the article with an outline of challenges and opportunities to be addressed in the future.

연구 동기 및 목표

• 코드 검색 분야의 30년에 걸친 연구를 종합적으로 개관하여 변화하는 기법과 과제를 다루는 것.
• 코드 검색 엔진이 지원하는 쿼리 유형, 특히 자연어 쿼리 및 API 기반 쿼리를 분석하는 것.
• 코드 검색 시스템에서 사용하는 사전 처리, 인덱싱, 검색, 순위 매기기 및 잘라내기 기법을 검토하는 것.
• 향후 코드 검색 및 검색 엔진 설계 분야의 개방 과제와 기회를 규명하는 것.
• 기존 데이터셋과 벤치마크를 평가하고, 더 현실적이고 대규모이며 실천 중심의 평가 데이터가 필요하다는 점을 강조하는 것.

제안 방법

• 최상위 컨fer런스 및 저널(CORE A* 또는 A 등급)의 정규 연구 논문에 중점을 두고 30년에 걸친 코드 검색 연구에 대한 체계적 종합 검토.
• 쿼리 유형, 사전 처리, 인덱싱, 검색, 순위 매기기 및 잘라내기 메커니즘에 따라 코드 검색 기법을 분류하는 것.
• 학습 기반 접근법 분석, 특히 코드 검색 및 코드 간 검색을 위한 신경망 모델.
• CodeSearchNet, CodeXGLUE, CoSQA 및 BigCloneBench와 같은 벤치마크 데이터셋 검토 및 코드 검색 엔진 평가에의 활용 분석.
• 모델 평가의 과제 분석, 특히 공개 코드 코퍼스에 사전 훈련을 통해 데이터 泄露의 위험.
• 향후 방향성 논의, 쿼리 없는 검색, 자동으로 질문을 제기하는 기능, 검색 인터페이스에 코드 완성 기능 통합을 통한 사용자 노력 감소.

실험 결과

연구 질문

• RQ1 현대의 코드 검색 엔진은 어떤 유형의 쿼리를 지원하며, 자연어 쿼리와 API 기반 쿼리를 어떻게 처리하는가?
• RQ2 코드 검색 엔진은 쿼리를 어떻게 사전 처리하고 확장하여 검색 정확도를 향상시키는가?
• RQ3 코드 검색에서 주로 사용하는 인덱싱 및 검색 기법은 무엇이며, 대규모 코드베이스에 어떻게 스케일링되는가?
• RQ4 사용자 편의성을 높이기 위해 검색 결과를 순위 매기고 잘라내는 데 사용하는 전략은 무엇인가?
• RQ5 현재의 벤치마크에는 어떤 한계가 있으며, 향후 데이터셋은 어떻게 실제 개발자 행동을 더 잘 반영할 수 있는가?

주요 결과

• 코드 검색은 실제 소프트웨어 개발에 큰 영향을 미치는 성숙한 연구 분야로 발전했으며, 다양한 기법과 시스템에 의해 뒷받침된다.
• 학습 기반 모델, 특히 대규모 코드 코퍼스에 사전 훈련된 모델이 현대의 코드 검색에서 중심적인 역할을 하여 검색 성능을 향상시켰다.
• CodeSearchNet 및 CodeXGLUE와 같은 벤치마크는 표준화된 평가를 가능하게 했지만, 유사한 데이터에 사전 훈련된 모델의 경우 데이터 泄露 위험이 존재한다.
• 자연어 쿼리 및 API 기반 쿼리 지원이 점점 증가하여 개발자가 고수준의 사양이나 예시를 사용해 검색할 수 있게 되었다.
• 개발자 상호작용 데이터(예: 결과 선택, 코드 변형)를 포함한 벤치마크가 점점 더 필요하며, 이를 통해 실제 사용 상황을 더 잘 반영할 수 있다.
• 향후 방향성으로는 쿼리 없는 검색, 자동으로 질문을 제기하는 기능, 검색 인터페이스에 코드 완성 기능을 통합하여 사용자 노력 감소를 고려해야 한다.