[論文レビュー] Deep Learning Meets Software Engineering: A Survey on Pre-Trained Models of Source Code

Changan Niu, Chuanyi Li+2 more|arXiv (Cornell University)|May 24, 2022

Software Engineering Research被引用数 10

ひとこと要約

本調査は、ソースコード用事前学習モデル（CodePTM）の包括的概要を提供し、そのアーキテクチャ、事前学習手法、および18のソフトウェア工学タスクへの応用を詳細に記載している。自然言語処理（NLP）用に事前学習されたモデルをコードに適応させる際の限界を強調し、パフォーマンスと効率を向上させるために、トークン化、事前学習タスク、モデル適応の面でコード固有の設計を推奨する。

ABSTRACT

Recent years have seen the successful application of deep learning to software engineering (SE). In particular, the development and use of pre-trained models of source code has enabled state-of-the-art results to be achieved on a wide variety of SE tasks. This paper provides an overview of this rapidly advancing field of research and reflects on future research directions.

研究の動機と目的

• AI研究者に対して、事前学習モデルがソフトウェア工学に与える影響の増大についての認識を高めること。
• 多様なSEタスクに応用可能な、ソースコード用事前学習モデル（CodePTM）の体系的かつ包括的な調査を行うこと。
• NLPベースの事前学習をコードに適応させる際の主な課題、特にトークン化、構造的認識、事前学習タスクの面を特定すること。
• コード固有の設計、コードの構造と機能の共同学習、タスク固有の適応といった、CodePTMの改善に向けた今後の研究方向性を提案すること。
• 公平で包括的な比較を可能にする統一された評価フレームワークの導入を提言すること。

提案手法

• 2016年から2022年までのCodePTMに関する185件以上の最新研究を調査し、モデルアーキテクチャ、事前学習目的、および下流タスクのパフォーマンスに焦点を当てる。
• アーキテクチャ設計に基づいてCodePTMを分類する：トークンベース（例：BERTスタイル）、ツリー基盤（例：AST対応）、シーケンス・ツー・シーケンス（例：T5スタイル）。
• マスクド言語モデル（MLM）、識別子マスキング（IMLM）、およびクラッシュ検出や制御フロー再構築といったコード固有の目的を含む、事前学習タスクの分析。
• コード分類、欠陥検出、コード検索、コード要約、コード生成を含む18のSEタスクにおけるCodePTMの評価。
• コード固有のトークン化、構造認識型事前学習、プロンプトチューニングやアダプタモジュールによる効率的適応といった、メソドロジカルな改善の提案。
• 標準化されたベンチマークと定性的な誤差分析を含む統一された評価プロトコルの推奨により、モデルの解釈可能性と比較可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ソースコード用事前学習モデルは、NLP用のそれらと比べて、アーキテクチャや事前学習目的においてどのように異なるか？
• RQ2 汎用的NLP用事前学習モデルをソフトウェア工学タスクに適用する際の主な限界は何か？
• RQ3 コード理解および生成タスクで最高のパフォーランスを発揮するには、どのような事前学習タスクとアーキテクチャ設計が有効か？
• RQ4 すべてのパラメータを再学習せずに、下流SEタスクに効率的にファインチューニングまたは適応するにはどうすればよいか？
• RQ5 多様なSEベンチマークにおいて、CodePTMを効果的に評価・比較するにはどのような戦略が最も効果的か？

主な発見

• 既存のCodePTMは、主にコードの形（すなわち、語彙的トークン）から表現を学習しており、機能的意味の理解に限界がある。
• 一部のケースでは、識別子マスキング（IMLM）による事前学習が、標準的なマスクド言語モデル（MLM）よりも劣った結果をもたらすことが判明し、コード固有の特徴に最適でない設計であることが示唆される。
• 標準的なNLP手法ではコードの文法的・意味的構造を十分に捉えられないため、コード固有のトークン化および埋め込み手法の開発が不可欠である。
• プロンプトチューニングやアダプタモジュールによるモデル適応は、ファインチューニング時のパラメータ更新を削減し、効率を向上させるため、完全なファインチューニングの代替として有望である。
• 特定のタスククラス（例：理解 vs. 生成）に特化した専用のCodePTMは、下流タスクの目的とより整合性を持つため、汎用モデルを上回るパフォーマンスを発揮することができる。
• すべての18のSEタスクと標準化されたベンチマークをカバーする統一された評価フレームワークは、公平な比較とモデルの強み・弱みの深い洞察を得る上で不可欠である。