[論文レビュー] BERT2Code: Can Pretrained Language Models be Leveraged for Code Search?

Abdullah Al Ishtiaq, Masum Hasan+6 more|arXiv (Cornell University)|Apr 16, 2021

Software Engineering Research参考文献 36被引用数 6

ひとこと要約

BERT2Code は、事前学習された文およびコード埋め込みモデル（SBERT、Code2Vec、CodeBERT）を活用する軽量な2層ニューラルネットワークを提案する。文の意味的コード検索において、クロス埋め込み空間の関係を学習することで15.478%のMRRを達成するが、性能の主なボトル neck はコード埋め込みの品質であると判明した。

ABSTRACT

Millions of repetitive code snippets are submitted to code repositories every day. To search from these large codebases using simple natural language queries would allow programmers to ideate, prototype, and develop easier and faster. Although the existing methods have shown good performance in searching codes when the natural language description contains keywords from the code, they are still far behind in searching codes based on the semantic meaning of the natural language query and semantic structure of the code. In recent years, both natural language and programming language research communities have created techniques to embed them in vector spaces. In this work, we leverage the efficacy of these embedding models using a simple, lightweight 2-layer neural network in the task of semantic code search. We show that our model learns the inherent relationship between the embedding spaces and further probes into the scope of improvement by empirically analyzing the embedding methods. In this analysis, we show that the quality of the code embedding model is the bottleneck for our model's performance, and discuss future directions of study in this area.

研究の動機と目的

• 事前学習された言語モデルが意味的コード検索に効果的に活用可能かどうかを調査すること。
• 事前学習された埋め込みを用いて自然言語クエリをソースコードにマッピングする軽量なニューラルネットワークの性能を評価すること。
• 現在のコード埋め込みモデルが高精度な意味的コード検索を実現する上で抱える制限を特定すること。
• 文とコードの埋め込みが意味的類似性をどの程度正しく捉えられるかを実証的に分析すること。
• 今後の研究において、より汎用的で高品質なコード埋め込みモデルの開発の必要性を強調すること。

提案手法

• 自然言語クエリの密なベクトル表現を生成するために、Sentence-BERT（SBERT）を微調整する。
• Code2Vec および CodeBERT を用いて、ソースコードスニペットからコード埋め込みを生成する。
• 2層の全結合ニューラルネットワークを用いて、文の埋め込みを共有された潜在空間内でのコード埋め込みにマッピングする。
• 対応するクエリ-コードペア間の意味的類似性を最大化するために、三重項損失を用いた対照的学習でモデルを訓練する。
• DeepCom データセット上で、MRR（平均逆順位）を用いてモデルの性能を評価する。
• 300組のクエリ-コードペアについて手動で意味的類似性スコアを付与し、それらを埋め込み空間内のL2距離と相関分析する。

実験結果

リサーチクエスチョン

• RQ1 SBERT や Code2Vec といった事前学習された言語モデルを意味的コード検索に効果的に統合できるか。
• RQ2 軽量なニューラルネットワークが自然言語クエリの埋め込みをコード埋め込みにどの程度うまくマッピングできるか。
• RQ3 人間による意味的類似性スコアと埋め込み空間内の距離の間にはどの程度相関があるか。
• RQ4 コード埋め込みの品質と一般化能力が、意味的コード検索モデルの性能にどの程度影響を及えるか。
• RQ5 現在のコード埋め込みモデルは、クロス埋め込みマッピングアーキテクチャの潜在的性能を十分に活用できるか。

主な発見

• BERT2Code は DeepCom データセット上で MRR 15.478% を達成し、事前学習された埋め込みを意味的コード検索に活用できる可能性を示した。
• 手動による意味的類似性スコアとNL埋め込み空間内のL2距離の間の相関は -0.772（p < 10^-6）であり、人間の判断と埋め込み類似性の間には強い整合性があることを示している。
• 手動による意味的類似性とコード埋め込み距離の間の相関はわずか -0.444（p < 10^-6）であり、コード埋め込みが文の埋め込みほど意味的意味を正しく捉えていない可能性を示唆している。
• 統計的分析により、コード埋め込みの低相関がランダムな要因によるものではないことが確認され、帰無仮説は高い信頼性で棄却された。
• 本研究では、コード埋め込みモデルの品質が性能の主なボトル neck であると特定した。今後の改善には、より優れたコード埋め込みが不可欠である。
• 実証的分析により、Code2Vec や CodeBERT といった現在のモデルが、意味的意味が重要なタスクにおいて十分に一般化できないことが判明した。