[論文レビュー] Parameter-Efficient Finetuning of Transformers for Source Code

Shamil Ayupov, Nadezhda Chirkova|arXiv (Cornell University)|Dec 12, 2022

Software Engineering Research被引用数 4

ひとこと要約

本稿は、pretrainedコードモデル（CodeT5およびPLBART）を用いて、4つのコード処理タスクにおいて、パラメータ効率の良い微調整（PEFT）手法（LoRAおよびアダプター）を評価している。コード理解タスクではPEFTがフル微調整と同等またはそれを上回ることを確認したが、コード生成タスクでは顕著に性能が劣ることから、コード自然言語処理におけるPEFTの分野特異的限界が浮き彫りになった。

ABSTRACT

Pretrained Transformers achieve state-of-the-art performance in various code-processing tasks but may be too large to be deployed. As software development tools often incorporate modules for various purposes which may potentially use a single instance of the pretrained model, it appears relevant to utilize parameter-efficient fine-tuning for the pretrained models of code. In this work, we test two widely used approaches, adapters and LoRA, which were initially tested on NLP tasks, on four code-processing tasks. We find that though the efficient fine-tuning approaches may achieve comparable or higher performance than the standard, full, fine-tuning in code understanding tasks, they underperform full fine-tuning in code-generative tasks. These results underline the importance of testing efficient fine-tuning approaches on other domains than NLP and motivate future research in efficient fine-tuning for source code.

研究の動機と目的

• パラメータ効率の良い微調整（PEFT）手法（LoRAおよびアダプター）が、ソースコード処理タスクにどの程度有効であるかを評価すること。
• パラメータ効率と性能の観点から、PEFTアプローチ（LoRA、アダプター、およびそれらの組み合わせ）をフル微調整と比較すること。
• NLPで有効なPEFT手法が、ノイズが多く、より複雑なデータを伴うコード固有のタスクに一般化できるかどうかを評価すること。
• モデルサイズやハイパーパrameter（例：ランクr）の選択が、コード生成およびコード理解タスクにおけるPEFT性能に与える影響を調査すること。
• ソフトウェア開発ツール（例：IDE）への展開において、モデル効率が極めて重要な文脈で、PEFTの適切さを実証的に示すこと。

提案手法

• LoRA（低ランク適応）を適用し、元のモデル重みWを更新するための低ランク行列ΔW = ABを導入。ここでA ∈ ℝ^{d × r}、B ∈ ℝ^{r × k}、かつr < min(d,k)であり、アテンション層およびフィードフォワード層に適用。
• アダプター訓練（AT）を実装し、Transformerのアテンションおよびフィードフォワードブロックの直後に小さなフィードフォワードネットワークを挿入。微調整時にはアダプターのパラメータのみを更新。
• LoRAとアダプターの組み合わせ（FF-LoRA + AT）を実施し、相乗効果の可能性を検討。同時にパラメータ数と推論オーバーヘッドをモニタリング。
• ベースモデルとしてCodeT5-base（223Mパラメータ）およびPLBART-base（140Mパラメータ）を用い、CodeXGLEUベンチマークの4つのタスク（コード要約、コードクローン検出、コード翻訳、コード生成）で微調整。
• HuggingFaceのTransformersライブラリを用い、BLEU-4、EM、CodeBLEU、正確一致といった標準指標を用いて性能を評価。
• ハイパーパrameter（例：ランクr）を検証セット上でチューニングし、3回の実行の平均値と標準偏差を報告。

実験結果

リサーチクエスチョン

• RQ1 コード要約やクローン検出といったコード理解タスクにおいて、LoRAおよびアダプターを用いたPEFT手法は、フル微調整と比べてどの程度の性能を示すか？
• RQ2 コード翻訳やコードtoテキスト生成といったコード生成タスクにおいて、PEFT手法はどの程度の性能を維持できるか？
• RQ3 LoRAとアダプターを組み合わせることで、パラメータ効率を保ちつつ性能が向上するか？
• RQ4 ランクrの選択が、コード固有のタスクにおけるPEFT手法の性能およびパラメータ数にどのように影響するか？
• RQ5 ノイズが多く、実世界のオープンソースリポジトリから収集されたコードデータ（特にデータ量が少ない状況）を処理する際に、PEFT手法は効果的に機能するか？

主な発見

• Java向けコード要約タスクにおいて、r=8のFF-LoRAはBLEU-4スコア18.10を達成し、同じタスクにおけるフル微調整（17.32）を上回った。
• C# → Javaへのコード翻訳タスクでは、r=16のFF-LoRAとATの組み合わせがBLEU-4スコア76.89を記録。相対的にフル微調整（79.14）を上回ったが、絶対値では依然として下回った。
• コード生成タスクでは、LoRAおよびアダプターが常にフル微調整を下回った：コード翻訳タスクにおいてLoRAはBLEU-4 74.26を達成（フル微調整は79.14）、顕著な性能差が確認された。
• r=16のアダプター訓練は、コード翻訳タスクでBLEU-4 75.30を記録したが、フル微調整のベースライン（78.60）を下回った。これは、複雑な生成タスクにおける能力の限界を示唆している。
• FF-LoRAとATの組み合わせは、コード翻訳タスクで最高のBLEU-4（76.89）およびCodeBLEU（82.53）を記録したが、依然としてフル微調整の79.14（BLEU-4）および84.33（CodeBLEU）には及ばなかった。
• 定性的な分析から、PEFT手法はしばしばフル微調整よりも短く、または正確性に欠ける要約を生成することが判明。ATモデルでは、事実誤認（例："Detects the operating system" 対 "Detect operating system"）を引き起こす場合もあった。