[論文レビュー] On the Effectiveness of Transfer Learning for Code Search

Pasquale Salza, Christoph Schwizer+2 more|arXiv (Cornell University)|Aug 12, 2021

Software Engineering Research被引用数 6

ひとこと要約

本稿では、自然言語とソースコードの両方で事前学習されたBERTベースのマルチモーダル埋め込みモデル（MEM）を用いた、コード検索のための転移学習アプローチを提案する。その後、StackOverflowの質問タイトルとコード回答のペairで微調整を行う。結果として、事前学習モデルは非事前学習モデルを著しく上回り、特にリtrievalフィルタリングを組み合わせた場合、Luceneベースの情報検索（IR）ベースラインをも上回ることを示し、低データ環境における転移学習の有効性を実証した。

ABSTRACT

The Transformer architecture and transfer learning have marked a quantum leap in natural language processing, improving the state of the art across a range of text-based tasks. This paper examines how these advancements can be applied to and improve code search. To this end, we pre-train a BERT-based model on combinations of natural language and source code data and fine-tune it on pairs of StackOverflow question titles and code answers. Our results show that the pre-trained models consistently outperform the models that were not pre-trained. In cases where the model was pre-trained on natural language "and" source code data, it also outperforms an information retrieval baseline based on Lucene. Also, we demonstrated that the combined use of an information retrieval-based approach followed by a Transformer leads to the best results overall, especially when searching into a large search pool. Transfer learning is particularly effective when much pre-training data is available and fine-tuning data is limited. We demonstrate that natural language processing models based on the Transformer architecture can be directly applied to source code analysis tasks, such as code search. With the development of Transformer models designed more specifically for dealing with source code data, we believe the results of source code analysis tasks can be further improved.

研究の動機と目的

• BERTを用いた転移学習がコード検索性能を向上させるかどうかを調査すること。
• 自然言語とソースコードの両方のデータを統合して事前学習することの、コードリトリーブタスクへの有効性を評価すること。
• 従来の情報検索ベースライン（例：Lucene）と比較して、提案されたMEMモデルの性能を評価すること。
• 事前学習データのサイズと微調整データの不足がモデル性能に与える影響を分析すること。
• BERTが非常に短い、簡潔なコード検索クエリを処理する際に、その自己注意機構の制限を明らかにすること。

提案手法

• 大規模な自然言語とソースコードのコーパス上で、別々のBERTエンコーダーを事前学習し、一般表現を学習する。
• エンコーダーを統合して、クエリとコードスニペットを同時にエンコードできるマルチモーダル埋め込みモデル（MEM）を構築する。
• StackOverflowの質問タイトルとそれに応じたコード回答から構成されるラベル付きコード検索データセットを用いて、MEMを微調整する。
• 2段階のリtrievalパイプラインを採用：まずLuceneを用いて候補をフィルタリングし、その後に事前学習済みMEMを用いて順位付けを行う。
• Mean Reciprocal Rank（MRR）やAromaスコアなどの標準的指標を用いて性能を評価する。
• 短いクエリにおけるモデル挙動を分析するため、アテンションパターンの分析と、短い入力に対する性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 自然言語とソースコードの両方のデータで事前学習することで、非事前学習モデルと比較してコード検索性能が向上するか？
• RQ2 提案されたMEMモデルは、従来のLuceneベースの情報検索ベースラインと比較して、どのように差をつけるか？
• RQ3 事前学習データは豊富だが微調整データが限られる状況において、転移学習の効果は何か？
• RQ4 Luceneと事前学習済みMEMを併用することで、大規模コード検索において優れた結果が得られるか？
• RQ5 BERTは、自己注意機構の特性上、非常に短いコード検索クエリ（10トークン未満）をモデル化する際に問題を示すか？

主な発見

• 事前学習済みBERTベースのモデルは、コード検索において非事前学習モデルを一貫して上回り、転移学習の有効性を示している。
• 自然言語とソースコードの両方で事前学習されたMEMモデルは、LuceneベースのIRベースラインを上回っており、特に大規模な検索プールにおいて顕著である。
• Luceneによる候補フィルタリングとその後の事前学習済みMEMによる順位付けというハイブリッドアプローチが、MRRとAromaスコアの両面で最高の全体的性能を達成した。
• 事前学習データが豊富で微調整データが限られる状況において、転移学習が最も効果的であり、これはコード検索の現実的制約と整合的である。
• BERTは非常に短いクエリ（10トークン未満）のモデル化に限界を示しており、短く自然言語的なコード検索入力において潜在的なボトルネックであることが示唆された。
• アテンションヘッドの分析から、BERTはコード内の構文的・意味的構造に最適に注目していない可能性があり、ASTや構造的特徴を組み込んだアーキテクチャの改善の余地があることが示唆された。