[論文レビュー] Simplifying Deep-Learning-Based Model for Code Search.

Chao Liu, Xin Xia+4 more|arXiv (Cornell University)|May 29, 2020

Software Engineering Research参考文献 44被引用数 6

ひとこと要約

本論文では、キーワードベースの検索とメソッド名および本体におけるファジー一致を組み合わせることで、コード検索のための簡素化されたディープラーニングベースのモデルであるCodeMatcherを提案する。41,000のレポジトリから構成されるデータセットにおいて、DeepCSに比べてMRRが97%高く、66倍の高速化を達成した。また、最先端のIRモデルであるCodeHowに比べてMRRで73%の向上を示した。

ABSTRACT

To accelerate software development, developers frequently search and reuse existing code snippets from a large-scale codebase, e.g., GitHub. Over the years, researchers proposed many information retrieval (IR) based models for code search, which match keywords in query with code text. But they fail to connect the semantic gap between query and code. To conquer this challenge, Gu et al. proposed a deep-learning-based model named DeepCS. It jointly embeds method code and natural language description into a shared vector space, where methods related to a natural language query are retrieved according to their vector similarities. However, DeepCS' working process is complicated and time-consuming. To overcome this issue, we proposed a simplified model CodeMatcher that leverages the IR technique but maintains many features in DeepCS. Generally, CodeMatcher combines query keywords with the original order, performs a fuzzy search on name and body strings of methods, and returned the best-matched methods with the longer sequence of used keywords. We verified its effectiveness on a large-scale codebase with about 41k repositories. Experimental results showed the simplified model CodeMatcher outperforms DeepCS by 97% in terms of MRR (a widely used accuracy measure for code search), and it is over 66 times faster than DeepCS. Besides, comparing with the state-of-the-art IR-based model CodeHow, CodeMatcher also improves the MRR by 73%. We also observed that: fusing the advantages of IR-based and deep-learning-based models is promising because they compensate with each other by nature; improving the quality of method naming helps code search, since method name plays an important role in connecting query and code.

研究の動機と目的

• 自然言語クエリとコードスニペットの間の意味的ギャップを解消すること。
• DeepCSの複雑で遅い推論プロセスを簡素化しつつ、その意味的一致能力を維持すること。
• キーワードベースのIRとディープラーニングにインspiredされたベクトルアラインメントを組み合わせることで、検索の正確性と効率を向上させること。
• IRベースとディープラーニングベースのアプローチを統合することの有効性を検証すること。
• メソッド名の品質がコード検索のパフォーマンスに与える影響を評価すること。

提案手法

• CodeMatcherは、キーワードを元の順序で使用して、メソッド名および本体とのファジー一致のためのクエリシーケンスを構築する。
• メソッド名およびメソッド本体に対してファジー文字列一致を実行し、関連するコードスニペットを特定する。
• 使用されたキーワードシーケンスの長さに基づいて、最も一致度の高いメソッドを返す。より包括的な一致を優先する。
• DeepCSの共有ベクトル空間の概念を活用するが、エンドツーエンドの学習を回避することでアーキテクチャを簡素化する。
• 効率的な文字列操作に依存しながら、クエリキーワードとコード要素の間の意味的関連性を維持する。
• キーワード一致と意味的アラインメントを組み合わせることで、IRベースとディープラーニングベースのモデルの長所を統合する。

実験結果

リサーチクエスチョン

• RQ1 簡素化されたモデルは、推論速度を著しく向上させつつ、DeepCSの意味的一致能力を維持できるか？
• RQ2 CodeMatcherのMRRおよび速度の観点で、DeepCSおよび最先端のIRベースのモデル（例：CodeHow）と比較して、性能はどの程度か？
• RQ3 メソッド名がコード検索の効果性にどの程度寄与しているか？
• RQ4 IR技術とディープラーニングの原則を組み合わせることで、コード検索の正確性と効率が向上するか？
• RQ5 メソッド名の品質を向上させることで、コード検索の結果が改善するか？

主な発見

• CodeMatcherは、41,000のレポジトリから構成される大規模なコードベースにおいて、DeepCSに比べてMRRが97%高い。
• CodeMatcherはDeepCSに比べて66倍以上速く、推論効率が著しく向上した。
• CodeMatcherは、最先端のIRベースのモデルであるCodeHowに比べてMRRで73%の向上を達成した。
• IRベースとディープラーニングベースのアプローチを統合することは有望である。両者は互いの長所を補完する。
• メソッド名の品質を向上させることでコード検索のパフォーマンスが向上し、メソッド名がクエリとコードをつなぐ重要な役割を果たすことがわかった。