[論文レビュー] An Empirical Comparison of Pre-Trained Models of Source Code

Changan Niu, Chuanyi Li+4 more|arXiv (Cornell University)|Feb 8, 2023

Software Engineering Research被引用数 7

ひとこと要約

本論文は、13のソフトウェア工学タスクにおいて19種類の事前学習済みソースコードモデルを体系的かつ実証的に比較した最初の研究である。標準化された設定でモデルのパフォーマンスを評価し、性能に影響を与える主なアーキテクチャ的要因および事前学習戦略を同定した。その結果、TFベースのモデルが、コード理解および生成タスクの両方でTEベースのモデルを上回ることを明らかにした。これは、モデルのアーキテクチャタイプによる優位性に関する従来の仮定に反する結果である。

ABSTRACT

While a large number of pre-trained models of source code have been successfully developed and applied to a variety of software engineering (SE) tasks in recent years, our understanding of these pre-trained models is arguably fairly limited. With the goal of advancing our understanding of these models, we perform the first systematic empirical comparison of 19 recently-developed pre-trained models of source code on 13 SE tasks. To gain additional insights into these models, we adopt a recently-developed 4-dimensional categorization of pre-trained models, and subsequently investigate whether there are correlations between different categories of pre-trained models and their performances on different SE tasks.

研究の動機と目的

• 多様なソフトウェア工学タスクにわたる体系的実証的評価を通じて、ソースコードの事前学習モデル（CodePTMs）の理解を深めること。
• 4次元的分類フレームワークを用いて、CodePTMのカテゴリとさまざまなSEタスクにおけるパフォーマンスとの相関関係を調査すること。
• 複数の下流タスクにわたるパフォーマンスを最大化するための効果的な事前学習戦略、モダリティ（例：自然言語、コード構造）、およびアーキテクチャ的選択を同定すること。

提案手法

• 本研究では、標準化されたデータセットとメトリクスを用いて、19種類の最近開発されたCodePTMsを13の標準的なSEタスクで評価した。
• CodePTMsの4次元的分類を適用し、アーキテクチャ的および事前学習戦略的差異を分析した。
• すべてのモデルに対して同一のハイパーパrameter設定でファインチューニングを実施し、タスク間での公平な比較を確保した。
• パフォーマンス差の妥当性を検証するために、統計的有意性検定を用いた。
• 再現性を確保し、元の実装からのずれを最小限に抑えるために、データセットおよびモデルを再実装または再収集した。
• モダリティ（例：自然言語、コード構造）および事前学習タスク（例：MLM、DAE、MASS）に対するアブレーションスタディを含め、それらがパフォーマンスに与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 TFベースのモデルとTEベースのモデルの間で、多様なSEタスクにおけるパフォーマンスに差は生じるか？
• RQ2 自然言語（NL）、コード構造、または両方を事前学習に組み込むことで、下流タスクのパフォーマンスにどのような影響があるか？
• RQ3 MLM、DAE、MASSなどの事前学習タスクの中で、どのタスクがさまざまなSEタスクタイプにおいて最も高いパフォーマンスをもたらすか？
• RQ4 複数のプログラミング言語で事前学習されたモデルが、単一言語で事前学習されたモデルに比べて一貫したパフォーマンス優位性を示すか？
• RQ5 事前学習戦略の選択が、コード生成タスクとコード理解タスクの両方におけるパフォーマンスに相関関係を示すか？

主な発見

• TFベースのモデル（例：CodeBERT、GraphCodeBERT）は、コード理解およびコード生成タスクの両方で、TEベースのモデル（例：BERT、RoBERTa）を上回るパフォーマンスを示した。これは、従来のTEベースのモデルの優位性を仮定する仮説とは対照的である。
• 事前学習段階で自然言語（NL）を活用することで、特にコード対コードのリコールやコード要約タスクにおいて、パフォーマンスが顕著に向上した。
• DAE、MASS、MNGなどの事前学習タスクは、下流タスクのパフォーマンスに強く正の影響を与えることが判明した。特にコード生成およびコード翻訳タスクで顕著であった。
• コード構造（例：AST）を組み込むことで、コピーやコードリtrievalなどのタスクでのパフォーマンスが向上した。特にNLと組み合わせた場合に顕著であった。
• すべてのタスクで最先端のパフォーマンスを達成する単一のCodePTMは存在せず、モデルの選択はタスクに応じて最適化されるべきであり、異なるモデルが異なるタスクタイプで優れたパフォーマンスを発揮することが明らかになった。
• MLMおよびその変種は、複数のタスクにわたり一貫して優れた結果を示した。これは、構文的および意味的コード特徴を効果的に捉えられることを示している。