[論文レビュー] Source Forager: A Search Engine for Similar Source Code

Vineeth Kashyap, David Bingham Brown+3 more|arXiv (Cornell University)|Jun 8, 2017

Software Engineering Research参考文献 14被引用数 7

ひとこと要約

Source Forager は、一貫したベクトルベースの類似度モデルを用いて、制御フロー、データ依存関係、AST 構造などの複数のコード特徴クラスを分析することで、意味的および構文的に類似した C/C++ 関数を検索するコード検索エンジンです。少数の関連結果しか得られない大規模なデータベースにおいても、高い精度で関連コードをランク付けでき、テキストベースの検索を上回り、コード補完やデバッグ作業における開発者生産性を向上させます。

ABSTRACT

Developers spend a significant amount of time searching for code: e.g., to understand how to complete, correct, or adapt their own code for a new context. Unfortunately, the state of the art in code search has not evolved much beyond text search over tokenized source. Code has much richer structure and semantics than normal text, and this property can be exploited to specialize the code-search process for better querying, searching, and ranking of code-search results. We present a new code-search engine named Source Forager. Given a query in the form of a C/C++ function, Source Forager searches a pre-populated code database for similar C/C++ functions. Source Forager preprocesses the database to extract a variety of simple code features that capture different aspects of code. A search returns the $k$ functions in the database that are most similar to the query, based on the various extracted code features. We tested the usefulness of Source Forager using a variety of code-search queries from two domains. Our experiments show that the ranked results returned by Source Forager are accurate, and that query-relevant functions can be reliably retrieved even when searching through a large code database that contains very few query-relevant functions. We believe that Source Forager is a first step towards much-needed tools that provide a better code-search experience.

研究の動機と目的

• テキストベースのコード検索が構文や意味を無視するため関連コードを逃すという限界を是正すること。
• クエリとコロナ要素の両方におけるコード意味の仕様を、一貫した特徴観測フレームワークで統合すること。
• コア検索メカニズムを再設計することなく、新しい特徴クラスを追加可能にする拡張性を実現すること。
• 事前の知識がなくても、異なるクエリドメインに最適な特徴クラス重みを自動的に選択または学習することにより、検索の関連性を向上させること。
• スケーラブルで正確かつ開発者フレンドリーなコード検索体験を提供し、プログラム修復や合成を支援すること。

提案手法

• C/C++ コードコロナを前処理し、制御フロー、データ依存関係、コメント、AST パatters などの複数の特徴クラスをベクトル化された特徴観測に抽出する。
• 複数の特徴クラスを統合して、クエリ関数とコロナ関数間の全体的なコード類似度を計算するベクトルベースの類似度モデルを用いる。
• 事前のドメイン知識が不要な動的特徴重み選択メカニズム（dyn-select）を採用し、特定のクエリに最も関連する特徴クラスを同定する。
• ラベル付き学習データを用いた教師あり学習（SVM）により、特定のドメインに最適な特徴クラス重みを事前に計算する。
• 類似度に基づく近傍検索（例：k-NN）を適用し、データベースから k 個の類似度の高い関数を取得する。
• クエリがコード断片であるハイブリッドクエリメカニズムを採用し、クエリとコロナ要素の両方で共通の特徴抽出技術を用いて類似度を計算する。

実験結果

リサーチクエスチョン

• RQ1 統一的で特徴ベースのアプローチは、従来のテキストベース手法を上回るコード検索精度を実現できるか？
• RQ2 事前のドメイン知識がなくても、動的特徴重み選択（dyn-select）メカニズムが関連する特徴クラスを適切に同定できるか？
• RQ3 複数の特徴クラスを併用することで、個々の特徴と比較して、どれほど検索パフォーマンスが向上するか？
• RQ4 SVM を用いた重み学習手法は、異なるコードドメインに一般化して効果を発揮するか？
• RQ5 ドロイタ関数の数が増加する際、Source Forager の検索精度はどのようにスケーリングするか？

主な発見

• Source Forager は、svm-weights 設定を用いて libc-qs クエリセットで平均平均精度（MAP）スコア 0.96 を達成し、高い検索精度を示した。
• dyn-select 設定は、同じ libc-qs セットで MAP 0.95 を達成し、ラベル付き学習データが不要な状態でも優れたパフォーマンスを示した。
• ドロイタ関数の数が 100 から 204,800 に増加しても、MAP スコアは 0.70 を超え続け、大規模コードベースにおける頑健性を示した。
• 制御フロー、データ依存関係、コメントなどの複数の特徴クラスの組み合わせは、個々の特徴クラスを大幅に上回り、特に「cross-weights」設定が最高の全体 MAP を達成した。
• 「equal-all」設定（全特徴クラスに等しい重みを割り当てる）でさえ、MAP 0.84 を達成しており、これは、単一特徴やテキストベース手法よりも、多特徴検索が顕著に優れていることを示している。
• 本研究では、'Type–Operation Coupling' や 'Control-Flow Graph' といった特徴クラスが類似度ランク付けに顕著に寄与している一方で、'Comments' のような他の特徴クラスは影響が小さいものの、全体の結果改善に寄与していることが明らかになった。