[論文レビュー] Using Transfer Learning for Code-Related Tasks

Antonio Mastropaolo, Nathan Cooper+5 more|arXiv (Cornell University)|Jun 17, 2022

Software Engineering Research被引用数 5

ひとこと要約

本稿では、T5モデルを用いたトランスファーラーニングが、バグ修正、ミューテント挿入、アサート文生成、コード要約の4つのコード関連タスクに対して検討され、事前学習が性能を顕著に向上させることを示している。一方、マルチタスク微調整は、すべてのタスクで一貫した結果向上をもたらさない。

ABSTRACT

Deep learning (DL) techniques have been used to support several code-related tasks such as code summarization and bug-fixing. In particular, pre-trained transformer models are on the rise, also thanks to the excellent results they achieved in Natural Language Processing (NLP) tasks. The basic idea behind these models is to first pre-train them on a generic dataset using a self-supervised task (e.g, filling masked words in sentences). Then, these models are fine-tuned to support specific tasks of interest (e.g, language translation). A single model can be fine-tuned to support multiple tasks, possibly exploiting the benefits of transfer learning. This means that knowledge acquired to solve a specific task (e.g, language translation) can be useful to boost performance on another task (e.g, sentiment classification). While the benefits of transfer learning have been widely studied in NLP, limited empirical evidence is available when it comes to code-related tasks. In this paper, we assess the performance of the Text-To-Text Transfer Transformer (T5) model in supporting four different code-related tasks: (i) automatic bug-fixing, (ii) injection of code mutants, (iii) generation of assert statements, and (iv) code summarization. We pay particular attention in studying the role played by pre-training and multi-task fine-tuning on the model's performance. We show that (i) the T5 can achieve better performance as compared to state-of-the-art baselines; and (ii) while pre-training helps the model, not all tasks benefit from a multi-task fine-tuning.

研究の動機と目的

• 多様なコード関連タスクに対するT5モデルを用いたトランスファーラーニングの有効性を評価すること。
• 大規模なコードおよびテキストデータセットでの事前学習が、下流のコードタスクにおける性能向上に寄与するかどうかを評価すること。
• 異なるコードタスク間でのマルチタスク微調整が、モデルの汎化能力および性能を向上させるかどうかを調査すること。
• レーベンシュタイン距離の相関を用いて、訓練集合とテスト集合間のデータ漏洩のリスクを分析すること。
• 4つの異なるコード関連NLPタスクにおいて、T5の性能を最先端のベースラインと比較すること。

提案手法

• 自己教師付きマスク言語モデル化の目的関数を用いて、499,618個の英語文と1,569,889個のJavaメソッドから構成される統合データセット上でT5モデルを事前学習した。
• 事前学習済みT5モデルを、バグ修正、ミューテント挿入、アサート生成、コード要約の4つの異なるコード関連タスクで微調整した。
• すべての4つのデータセットを同時に学習することでマルチタスク微調整を実施し、異種のデータタイプ間での知識の転送可能性を評価した。
• データスヌーピングの検出およびモデルの汎化能力の評価を目的として、訓練集合とテスト集合間のペアワイズレーベンシュタイン距離を計算した。
• ポイントバイセラル相関（PBC）およびピアソン相関を用いて、訓練-テスト類似度とモデル性能の関係を分析した。
• BLEUスコアおよび完全予測精度を用いてモデル性能を評価し、既存の最先端ベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 大規模なコードおよび自然言語データセットでのT5モデルの事前学習が、下流のコード関連タスクにおける性能向上に寄与するか？
• RQ2 異なるコードタスク（例：生のコード vs. 概略化されたコード vs. 自然言語）間でのマルチタスク微調整が、モデル性能をどの程度向上させるか？
• RQ3 訓練集合とテスト集合間のデータオーバーラップがモデル性能に与える影響は何か？ また、モデルの成功はデータ漏洩によるものか、それとも汎化能力によるものか？
• RQ4 4つの異なるコード関連NLPタスクにおいて、T5モデルの性能は既存の最先端のディープラーニングモデルと比較してどうか？
• RQ5 マルチタスク学習が測定可能な利益をもたらす特定のタスクタイプは存在するか、それとも性能向上がタスク間で一貫しないか？

主な発見

• すべての4つのコード関連タスクにおいて、事前学習がモデル性能を顕著に向上させた。これは、コード表現学習における事前学習の価値を裏付けるものである。
• マルチタスク微調整は一貫した性能向上をもたらさず、生のコード、抽象化されたコード、自然言語といった異なるデータタイプが、知識の転送を妨げている可能性がある。
• T5モデルは、事前学習を行わないか、または追加で約22時間の事前学習計算を要する既存の最先端ベースラインをすべて上回った。
• 相関分析の結果、訓練-テスト間のレーベンシュタイン距離と性能の間に低～中程度の負の相関が認められ、データ漏洩は最小限であり、強力な汎化能力があることが示された。
• 訓練例とテスト例の最小距離および中央値が大きくなるほど、モデル性能が低下する傾向が見られた。これは、分布シフトに対して感受性が高いことを示唆している。
• 完全予測においては、最大距離と性能の間に正の相関が観察されたが、これは外れ値やレアなテストケースに起因する可能性がある。しかし、全体的な相関は低く保たれており、モデルのロバスト性を支持するものである。