[論文レビュー] Code Search: A Survey of Techniques for Finding Code

Luca Di Grazia, Michael Pradel|arXiv (Cornell University)|Apr 6, 2022

Software Engineering Research被引用数 6

ひとこと要約

本サーベイは、30年間にわたるコード検索研究を包括的にレビューし、クエリの種別、前処理、インデクシング、リtrieval、ランク付け、 pruning 技術を分析している。自然言語クエリ、クロスラングエージュ検索、より良いベンチマークと評価手法の必要性といった、主な課題と機会を特定している。今後のコードリトリーブシステム研究を支援するための基盤となる。

ABSTRACT

The immense amounts of source code provide ample challenges and opportunities during software development. To handle the size of code bases, developers commonly search for code, e.g., when trying to find where a particular feature is implemented or when looking for code examples to reuse. To support developers in finding relevant code, various code search engines have been proposed. This article surveys 30 years of research on code search, giving a comprehensive overview of challenges and techniques that address them. We discuss the kinds of queries that code search engines support, how to preprocess and expand queries, different techniques for indexing and retrieving code, and ways to rank and prune search results. Moreover, we describe empirical studies of code search in practice. Based on the discussion of prior work, we conclude the article with an outline of challenges and opportunities to be addressed in the future.

研究の動機と目的

• 30年間にわたるコード検索研究の包括的概要を提供し、進化する技術と課題を扱う。
• コード検索エンジンが対応するクエリの種別を分析する。自然言語クエリおよびAPIベースのクエリを含む。
• コード検索システムで用いられる前処理、インデクシング、リtrieval、ランク付け、pruning 技術を検討する。
• 今後のコードリトリーブおよび検索エンジン設計における未解決の課題と機会を特定する。
• 既存のデータセットとベンチマークを評価し、より現実的で大規模かつ行動指向の評価データの必要性を強調する。

提案手法

• トップカンファレンスおよびジャーナル（CORE A*またはAランク）の完全な研究論文に焦点を当てた30年間の体系的サーベイ。
• クエリの種別、前処理、インデクシング、リtrieval、ランク付け、pruning メカニズムごとにコード検索技術を分類する。
• 学習ベースのアプローチの分析。コードリトリーブおよびコード対コード検索のためのニューラルモデルを含む。
• CodeSearchNet、CodeXGLUE、CoSQA、BigCloneBench などのベンチマークデータセットのレビュー。これらのデータセットがコード検索エンジンの評価にどのように使われているかを含む。
• モデル評価における課題の検討。特に、公開コードコーパスで事前学習した場合のデータリークのリスク。
• 今後の方向性の議論。クエリレス検索、自動的質問の明確化、検索インターフェースへのコード補完の統合によるユーザー負荷低減。

実験結果

リサーチクエスチョン

• RQ1 現代のコード検索エンジンはどのようなクエリタイプを対応しており、自然言語クエリおよびAPIベースのクエリをどのように処理しているか？
• RQ2 コード検索エンジンはクエリをどのように前処理・拡張してリトリーブ精度を向上させているか？
• RQ3 コード検索で一般的に使われるインデクシングおよびリtrieval技術は何か？また、大規模なコードベースにどのようにスケーリングしているか？
• RQ4 検索結果のランク付けとpruning に用いられる戦略は何か？開発者の使いやすさを向上させるために。
• RQ5 現在のベンチマークの制限は何か？今後のデータセットは、現実世界の開発者行動をよりよく反映するにはどうすればよいか？

主な発見

• コード検索は、多様な技術とシステムを備えた成熟した研究分野に発展し、現実のソフトウェア開発に大きな影響を与えている。
• 大規模なコードコーパスで事前学習された学習ベースのモデルは、現代のコード検索において中心的役割を果たしており、リトリーブ性能の向上に寄与している。
• CodeSearchNet や CodeXGLUE といったベンチマークは標準化された評価を可能にしたが、モデルが同様のデータで事前学習されている場合のデータリークのリスクがある。
• 自然言語クエリおよびAPIベースのクエリのサポートが増加しており、開発者が高レベルの仕様や例を用いて検索できるようになっている。
• 開発者インタラクションデータ（結果選択、コードの適応など）を含むベンチマークの必要性が高まっている。これにより、現実世界の利用状況をよりよく反映できるようになる。
• 今後の方向性には、クエリレス検索、自動的質問の明確化、検索インターフェースへのコード補完の統合が含まれ、ユーザーの負荷を軽減する。