[論文レビュー] Generation-Augmented Query Expansion For Code Retrieval

Dong Li, Yelong Shen+4 more|arXiv (Cornell University)|Dec 20, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、自然言語クエリからコードスニペットを生成し、それをクエリ拡張に用いることでコード検索を向上させる、新規の二段階フレームワークである生成拡張型コードリtrieバル（GACR）を提案する。元のドキュメンテーションと意味的に豊かな生成コードを統合することで、6つのプログラミング言語においてCodeSearchNetベンチマークで最先端の性能を達成し、従来の検索モデルを著しく上回る。

ABSTRACT

Pre-trained language models have achieved promising success in code retrieval tasks, where a natural language documentation query is given to find the most relevant existing code snippet. However, existing models focus only on optimizing the documentation code pairs by embedding them into latent space, without the association of external knowledge. In this paper, we propose a generation-augmented query expansion framework. Inspired by the human retrieval process - sketching an answer before searching, in this work, we utilize the powerful code generation model to benefit the code retrieval task. Specifically, we demonstrate that rather than merely retrieving the target code snippet according to the documentation query, it would be helpful to augment the documentation query with its generation counterpart - generated code snippets from the code generation model. To the best of our knowledge, this is the first attempt that leverages the code generation model to enhance the code retrieval task. We achieve new state-of-the-art results on the CodeSearchNet benchmark and surpass the baselines significantly.

研究の動機と目的

• 従来のコードリtrieバルモデルが外部知識を活用しないで埋め込み類似度に依存するという制限を解消すること。
• コード生成モデルが意味的に豊かなクエリ拡張を提供することで、リtrieバル性能が向上するかどうかを調査すること。
• 自然言語ドキュメンテーションと生成コードを効果的に統合するための融合メカニズムを設計すること。
• 生成拡張クエリが自然言語とコードの間の意味的ギャップを埋める有効性を実証すること。

提案手法

• 事前学習済みのコード生成モデル（例：Codex）を用いて、与えられた自然言語ドキュメンテーションクエリからコードスニペットを生成する。
• 元の自然言語記述と生成コードスニペットを組み合わせて拡張クエリを構築する。
• 自然言語と生成コードの両方の表現からの特徴を学習・統合するために、デュアル表現アテンションメカニズムを採用する。
• 拡張クエリを用いて、関連するコードスニペットとの意味的マッチングを向上させるために、リtrieバルモデル（例：GraphCodeBERT）を訓練する。
• 単一および複数の生成コードスニペットを含む複数のバリアントを検討し、異なる設定下での頑健性と性能を評価する。
• 対照的学習とファインチューニングを用いて、拡張クエリ-コードペア上でリtrieバルモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 コード生成モデルは、コードリtrieバルタスクにおける自然言語クエリの意味的表現力を向上させることができるか？
• RQ2 ドキュメンテーションクエリに生成コードを統合した場合、元のクエリのみを使用する場合と比較してリtrieバル性能にどのような影響を与えるか？
• RQ3 コードリtrieバルにおけるクエリ拡張において、自然言語と生成コードの表現を最適に組み合わせる方法は何か？
• RQ4 生成コードの品質がリtrieバル精度に顕著に影響を与えるか、また生成モデルの途中の隠れ表現を用いる場合と比較してどうなるか？
• RQ5 提案手法は、異なるプログラミング言語およびクエリ長にわたって一般化可能か？

主な発見

• GACRは、CodeSearchNetベンチマークで、GraphCodeBERT や CodeRetriever といった従来モデルをすべての6つの評価言語で上回る最先端の性能を達成した。
• 32トークンのクエリ長において、CodeSearchNetベンチマークで全体のリtrieバル精度が0.796に達し、ベースラインを上回った。
• 生成コードをクエリ拡張に用いることで、元のドキュメンテーションクエリのみを使用する場合と比較して、リtrieバル性能が相対的に10.5%向上した。
• 生成コードを拡張ソースとして用いることで、生成モデルの途中の隠れ表現を用いるよりも優れた性能を示し、埋め込みベースの拡張よりも相対的に14.7%の向上を達成した。
• 性能向上はすべてのプログラミング言語で一貫しており、特にPythonとGoで最も顕著な改善が見られた。
• アブレーションスタディにより、デュアル表現アテンションメカニズムがクロスモodalな意味を効果的に捉えていることが確認され、さまざまなクエリ長においてもモデルの頑健性が保たれている。