[論文レビュー] CoCoSoDa: Effective Contrastive Learning for Code Search

Ensheng Shi, Wenchao Gub+6 more|arXiv (Cornell University)|Apr 7, 2022

Topic Modeling被引用数 9

ひとこと要約

CoCoSoDaは、コード検索のための対照的学習フレームワークを提案し、ソフトなデータ拡張とモーメンタムベースのネガティブサンプルキューを組み合わせることで、コードおよびクエリ表現学習を向上させる。6つのプログラミング言語で平均MRRが13.3%、10.5%、5.9%向上し、CodeBERT、GraphCodeBERT、UniXcoderをそれぞれ上回る最先端の性能を達成した。

ABSTRACT

Code search aims to retrieve semantically relevant code snippets for a given natural language query. Recently, many approaches employing contrastive learning have shown promising results on code representation learning and greatly improved the performance of code search. However, there is still a lot of room for improvement in using contrastive learning for code search. In this paper, we propose CoCoSoDa to effectively utilize contrastive learning for code search via two key factors in contrastive learning: data augmentation and negative samples. Specifically, soft data augmentation is to dynamically masking or replacing some tokens with their types for input sequences to generate positive samples. Momentum mechanism is used to generate large and consistent representations of negative samples in a mini-batch through maintaining a queue and a momentum encoder. In addition, multimodal contrastive learning is used to pull together representations of code-query pairs and push apart the unpaired code snippets and queries. We conduct extensive experiments to evaluate the effectiveness of our approach on a large-scale dataset with six programming languages. Experimental results show that: (1) CoCoSoDa outperforms 14 baselines and especially exceeds CodeBERT, GraphCodeBERT, and UniXcoder by 13.3%, 10.5%, and 5.9% on average MRR scores, respectively. (2) The ablation studies show the effectiveness of each component of our approach. (3) We adapt our techniques to several different pre-trained models such as RoBERTa, CodeBERT, and GraphCodeBERT and observe a significant boost in their performance in code search. (4) Our model performs robustly under different hyper-parameters. Furthermore, we perform qualitative and quantitative analyses to explore reasons behind the good performance of our model.

研究の動機と目的

• より効果的なデータ拡張とネガティブサンプルマイニングを活用することで、対照的学習を効果的に活用し、コード検索のパフォーマンスを向上させること。
• 従来の対照的学習手法の限界、例えば静的拡張や限定的なネガティブサンプルの多様性の欠如を解消すること。
• 膨大なファインチューニングを必要とせずに、事前学習モデルがより強固で整合性のあるコード-クエリ表現を学習できるようにすること。
• RoBERTa、CodeBERT、GraphCodeBERT、UniXcoderを含む多様な事前学習モデルに本手法を適用した際の一般化性能を示すこと。
• ハイパーパramータの変動やゼロショット設定下でも、フレームワークの頑健性と有効性を検証すること。

提案手法

• コードトークンをその型に置き換えるかマスクすることで、意味的に類似したポジティブサンプルを生成する4つのソフトなデータ拡張（SoDa）技術を導入する。
• モーメンタムエンコーダーとモーメンタム更新キューを用いて、ミニバッチごとに大規模で一貫性のあるネガティブサンプルの集合を維持し、対照的学習の安定性を向上させる。
• ペairedコード-クエリインスタンスの表現を対照的に整列させるとともに、ペアでないコードスニペットとクエリを分離するマルチモーダル対照的学習を適用する。
• RoBERTa、CodeBERT、GraphCodeBERT、UniXcoderを含むさまざまな事前学習モデルの学習に、対照的学習の目的関数を統合し、コード検索性能を向上させる。
• モード内（コード-コード、クエリ-クエリ）とモード間（コード-クエリ）の対照的目的を組み合わせたデュアル対照的学習戦略を採用し、表現の整列を強化する。
• ファインチューニングなしで事前学習モデルを評価するゼロショット評価に適応させ、事前学習段階でのみ強固な表現を学習できる能力を示す。

実験結果

リサーチクエスチョン

• RQ1 トークンをその型に置き換えるかマスクするソフトなデータ拡張は、コード検索のためのコード表現学習を向上させることができるか？
• RQ2 モーメンタムベースのネガティブサンプルキューを用いることで、コード検索における対照的学習の識別力が向上するか？
• RQ3 コードとクエリ間のマルチモーダル対照的学習は、単一モーダル対照的学習と比較して、どれほど表現の整列性とパフォーマンスを向上させるか？
• RQ4 CoCoSoDaは、CodeBERTやGraphCodeBERT、UniXcoderに加え、非コード特化型モデル（例：RoBERTa）を含むさまざまな事前学習モデルに適用した場合、どの程度有効か？
• RQ5 ファインチューニングなしでCoCoSoDaが優れたパフォーマンスを達成できるか、これは学習済み表現の頑健性と一般化能力を示唆するか？

主な発見

• CoCoSoDaはCodeSearchNetベンチマークで最先端の性能を達成し、18の最先端ベースラインを上回り、6つのプログラミング言語で平均MRRが0.738を達成した。
• CodeBERT、GraphCodeBERT、UniXcoderはそれぞれ平均MRRで13.3%、10.5%、5.9%向上し、顕著な性能向上を示した。
• ゼロショット評価では、ファインチューニング済みのCodeBERT、CodeT5、GraphCodeBERTを上回り、平均MRRで50%以上の向上を達成し、PHPでは最大70%の向上を記録した。
• アブレーションスタディにより、ソフトなデータ拡張とモーメンタムベースのネガティブキューの両方が不可欠な要素であり、それぞれがパフォーマンス向上に顕著な寄与をしていることが確認された。
• RoBERTa、CodeBERT、GraphCodeBERT、UniXcoderを含むさまざまな事前学習モデルにおいて、本手法は一貫してパフォーマンスを向上させ、異なるアーキテクチャへの直交性と一般化可能性を示した。
• さまざまなハイパーパramータ設定下でも、本手法は一貫して高いパフォーマンスを維持し、頑健性を示した。