[論文レビュー] Generating Code with the Help of Retrieved Template Functions and Stack Overflow Answers

Dawn Drain, Changran Hu+3 more|arXiv (Cornell University)|Apr 12, 2021

Software Engineering Research参考文献 14被引用数 6

ひとこと要約

本稿では、CodeSearchNet から関連するテンプレート関数と Stack Overflow から意図-スニペットペア（CoNaLa）を検索することで、コード補完の質を向上させるリtrieval増強型コード生成フレームワークを提案する。検索には融合表現モデルを用い、関数シグネチャと取得した参照情報を条件として受けるsequence-to-sequence生成モデルを採用し、Maximal Marginal Relevance（MMR）再ランク付けを用いたテンプレート関数の検索により、BLEUスコアが44%向上した。

ABSTRACT

We approach the important challenge of code autocompletion as an open-domain task, in which a sequence-to-sequence code generator model is enhanced with the ability to attend to reference code snippets supplied by a semantic code search engine. In this work, we present a novel framework to precisely retrieve template functions as well as intent-snippet pairs and effectively train such a retrieval-guided code generator. To demonstrate the effectiveness of our model designs, we perform extensive experiments with CodeSearchNet which contains template functions and CoNaLa which contains Stack Overflow intent-snippet pairs. We also investigate different retrieval models, including Elasticsearch, DPR, and our fusion representation search model, which currently holds the number one spot on the CodeSearchNet leaderboard. We observe improvements by leveraging multiple database elements and further gain from retrieving diverse data points by using Maximal Marginal Relevance. Overall, we see a 4% improvement to cross-entropy loss, a 15% improvement to edit distance, and a 44% improvement to BLEU score when retrieving template functions. We see subtler improvements of 2%, 11%, and 6% respectively when retrieving Stack Overflow intent-snippet pairs. We also create a novel Stack Overflow-Function Alignment dataset, which consists of 150K tuples of functions and Stack Overflow intent-snippet pairs that are of help in writing the associated function, of which 1.7K are manually curated.

研究の動機と目的

• モデルの内部コンテキストに依存しない閉形式コード生成の限界を克服し、外部コードリファレンスにアクセスできるようにすること。
• 関連するテンプレート関数とStack Overflowの回答をコンテキストとして検索することで、コード補完の品質を向上させること。
• 検索と生成を分離することで、効率性とスケーラビリティを実現する柔軟な、リtrieval誘導型のコード生成フレームワークを設計すること。
• Maximal Marginal Relevance（MMR）を含む多様な検索戦略がコード生成品質に与える影響を評価すること。
• 今後の研究を支援するため、15万件の対応済みStack Overflow意図-スニペットペアを含む新規SOFAデータセットを構築・公開すること。

提案手法

• フレームワークは、関数のドキュメント文字列とシグネチャに基づき、CodeSearchNetから関連するテンプレート関数、CoNaLaから意図-スニペットペアを検索するニューラルコード検索モデルを用いる。
• 検索は複数のモデル（Elasticsearch、DPR、および提案された融合表現モデル）を用い、融合表現モデルはCodeSearchNetで最先端の性能を達成した。
• コード生成モデルは、関数シグネチャ、ドキュメント文字列、および取得した参照スニペットを条件として受ける事前学習済みsequence-to-sequence変換器である。
• 検索結果は、関連性と多様性のバランスを取るためにMaximal Marginal Relevance（MMR）を用いて再ランク付けされ、λ = 0.5を設定して関連性と重複のバランスを調整した。
• 検索と生成のモジュールは別々に訓練され、モジュール化された効率的でスケーラブルな訓練と推論を可能にした。
• GitHubからのテンプレート関数検索とCoNaLaからの意図-スニペット検索を両方サポートし、検索品質と多様性に関するアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 外部コードリファレンスを検索することで、モデルの内部コンテキストを超えてコード補完の質を向上させることができるか？
• RQ2 検索モデルの選択（例：Elasticsearch、DPR、融合表現）がコード生成品質に与える影響は何か？
• RQ3 Maximal Marginal Relevance（MMR）を用いた再ランク付けは、グリーディ検索よりも優れたコード生成をもたらすか？
• RQ4 CodeSearchNet（テンプレート関数）とCoNaLa（Stack Overflowの意図-スニペットペア）という異なるデータベースは、コード生成の向上にどのように寄与するか？
• RQ5 多様で重複のないリファレンスを検索することで、BLEU、編集距離、交差エントロピー損失といったコード生成指標はどの程度向上するか？

主な発見

• 融合表現モデルを用いてCodeSearchNetからテンプレート関数を検索し、MMR再ランク付けを施した結果、BLEU-4スコアが44%向上、編集距離が15%低下、交差エントロピー損失が4%減少した。
• MMRを用いた再ランク付けにより、複数のテンプレート関数を検索する利点が2倍に拡大され、グリーディ検索に比べて編集距離とBLEUスコアが顕著に向上した。
• CoNaLaからStack Overflowの意図-スニペットペアを検索した場合、BLEU-4が6%向上、編集距離が11%改善、交差エントロピー損失が2%低下したが、テンプレート関数の検索に比べて効果は限定的であった。
• 融合表現モデルは、CodeSearchNetにおいてElasticsearchおよびDPRを上回り、CodeSearchNetのリーダーボードでトップの順位を獲得した。
• 15万件の手作業で整備された関数-Stack Overflowペアを含むSOFAデータセットを構築・公開し、今後のリtrieval増強型コード生成研究を支援した。
• 訓練中に同一の検索関数を除外することで、劣化した挙動を防ぎ、一般化性能が向上した。これは、検索フィルタリングの重要性を示している。