[論文レビュー] Neural Code Search Revisited: Enhancing Code Snippet Retrieval through Natural Language Intent

Geert Heyman, Tom Van Cutsem|arXiv (Cornell University)|Aug 27, 2020

Topic Modeling参考文献 27被引用数 15

ひとこと要約

本稿では、自然言語クエリを用いて、その意図を自然言語で記述したコードスニペットを検索するタスク「アノテートドコード検索」を提案する。ユニバーサル文書エンコーダーを微調整し、ニューラルコード検索モデルと組み合わせることで、コードのみに依存するベースラインに比べて、再現率@10で最大26.4%の向上を達成した。これは、記述がコード検索における関連性を顕著に向上させることを示している。

ABSTRACT

In this work, we propose and study annotated code search: the retrieval of code snippets paired with brief descriptions of their intent using natural language queries. On three benchmark datasets, we investigate how code retrieval systems can be improved by leveraging descriptions to better capture the intents of code snippets. Building on recent progress in transfer learning and natural language processing, we create a domain-specific retrieval model for code annotated with a natural language description. We find that our model yields significantly more relevant search results (with absolute gains up to 20.6% in mean reciprocal rank) compared to state-of-the-art code retrieval methods that do not use descriptions but attempt to compute the intent of snippets solely from unannotated code.

研究の動機と目的

• キーワードの重複が少なく、パターンが疎であるため、アノテーションのないコードは解釈が困難である場合に、関連するコードスニペットを検索する課題に対処すること。
• ソースコードのみに依存するモデルと比較して、コードの意図に関する自然言語記述が、検索性能を顕著に向上させるかどうかを調査すること。
• コード検索評価のための、自然言語クエリとペairedされたアノテートドコードスニペットの3つの新しいベンチマークデータセットを構築すること。
• コードトークンとコード記述を併用して、自然言語クエリとの意味的マッチングを向上させる検索モデルを開発・評価すること。

提案手法

• 著者らは、Stack Overflow、GitHub、公式ドキュメンテーションからコードスニペットとその意図の記述を収集し、3つのベンチマークデータセットを構築した。各クエリは関連するスニペットとリンクされていることを保証した。
• コード-記述ペア上でユニバーサル文書エンコーダー（USE）を微調整し、コードの意図を自然言語クエリと一致させる意味的表現を学習した。
• 微調整済みのUSEによる記述エンコーディングと、ニューラルコード検索モデルによるコードトークンエンコーディングを組み合わせたハイブリッドモデルを提案した。これにより、同時相似度計算が可能になった。
• クエリとスニペット間の意味的類似度は、クエリ埋め込みとコード-記述埋め込みを連結し、共有ベクトル空間に投影することで計算した。
• 検索システムは、クエリ埋め込みと組み合わせたコード-記述埋め込み間のコサイン類似度に基づいてスニペットをランク付けした。
• すべての3つのベンチマークで、標準的な情報検索指標（平均逆順位（MRR）、再現率@3、再現率@10）を用いてアプローチを評価した。

実験結果

リサーチクエスチョン

• RQ1 コードのみの検索モデルと比較して、コードの意図に関する自然言語記述を組み込むことで、検索結果の関連性を顕著に向上させることができるか？
• RQ2 微調整されたユニバーサル文書エンコーダーは、自然言語クエリとコード記述の間の意味的類似度をモデル化するのにどの程度有効か？
• RQ3 ソースコード表現と組み合わせた場合、コード記述は検索性能にどの程度貢献するか？
• RQ4 本稿で提案するモデルは、Stack Overflow、GitHub、ドキュメンテーションなど、異なるソースからの多様なコードスニペットコレクションに一般化できるか？

主な発見

• 提案モデルは、最先端のコードのみの検索モデルに比べ、平均逆順位（MRR）で最大20.6%、再現率@3で23.9%、再現率@10で26.4%の絶対的向上を達成した。
• ソースコードを用いても、コード記述の導入により、はるかに関連性の高い検索結果が得られることが示された。これは、意図の記述が極めて重要であることを裏付けている。
• コード-記述ペア上でユニバーサル文書エンコーダーを微調整することで、顕著な性能向上が得られ、古典的およびニューラルベースラインを上回った。
• コードのみのモデルと記述を用いるモデルとの性能差は、すべての3つのベンチマークデータセットで一貫しており、多様なコードソースに対して堅牢であることが示された。
• 著者らはすべてのモデルとデータセットを公開しており、再現性と今後のアノテートドコード検索分野の研究を促進している。