[論文レビュー] Parameter-Efficient Fine-Tuning Methods for Pretrained Language Models: A Critical Review and Assessment

Lingling Xu, Haoran Xie+3 more|arXiv (Cornell University)|Dec 19, 2023

Topic Modeling被引用数 55

ひとこと要約

PEFT（パラメータ効率の微調整）手法の体系的調査。事前学習済み言語モデルに対する分類、定性的分析、パラメータ・メモリ効率を評価する実験を含む。

ABSTRACT

With the continuous growth in the number of parameters of transformer-based pretrained language models (PLMs), particularly the emergence of large language models (LLMs) with billions of parameters, many natural language processing (NLP) tasks have demonstrated remarkable success. However, the enormous size and computational demands of these models pose significant challenges for adapting them to specific downstream tasks, especially in environments with limited computational resources. Parameter Efficient Fine-Tuning (PEFT) offers an effective solution by reducing the number of fine-tuning parameters and memory usage while achieving comparable performance to full fine-tuning. The demands for fine-tuning PLMs, especially LLMs, have led to a surge in the development of PEFT methods, as depicted in Fig. 1. In this paper, we present a comprehensive and systematic review of PEFT methods for PLMs. We summarize these PEFT methods, discuss their applications, and outline future directions. Furthermore, we conduct experiments using several representative PEFT methods to better understand their effectiveness in parameter efficiency and memory efficiency. By offering insights into the latest advancements and practical applications, this survey serves as an invaluable resource for researchers and practitioners seeking to navigate the challenges and opportunities presented by PEFT in the context of PLMs.

研究の動機と目的

• TransformerベースのPLMに対するPEFT手法の体系的分類を提供する。
• 加法的、部分的、再パラメータ化、ハイブリッド、統合微調整アプローチの要点、実装、違いを要約する。
• パラメータ効率とメモリ使用量を軸にしたNLPタスクでの代表的PEFT手法を実験で評価する。
• マルチタスク学習、クロスリンガル転送、ディフェンスへの適用を強調し、今後の方向性を示す。

提案手法

• PEFT手法を加法的、部分的、再パラメータ化、ハイブリッド、統合微調整に分類する分類体系を開発する。
• アダプター、ソフトプロンプト、LoRA系変種などの代表手法のアーキテクチャと式を詳述する。
• 自然言語理解（NLU）、機械翻訳（MT）、自然言語生成（NLG）のタスクを横断して実験を行い、パラメータ効率とメモリ使用を評価する。
• PEFTの有効性を示すために、マルチタスク学習、クロスリンガル転送、バックドア防御の適用を分析する。
• 実務家のためにPEFTアプローチ間の類似点と相違点を比較する。

実験結果

リサーチクエスチョン

• RQ1 TransformerベースのPLMにおけるPEFT手法の主要なファミリーとサブタイプは何か。
• RQ2 代表的なPEFT手法は、NLPタスク全体でのパラメータ効率とメモリ使用量の点でどのように比較されるか。
• RQ3 マルチタスク学習とクロスリンガル転送に対するPEFTアプローチの実用的な影響は何か。
• RQ4 PEFTの分野には今後の方向性と研究ギャップがどこに存在するか。

主な発見

• PEFT手法は、フルファインチューニングと同等の性能を維持しつつ、学習可能パラメータの数を大幅に削減する。
• アダプター、ソフトプロンプト、再パラメータ化アプローチは、限られたパラメータ更新でタスク固有の知識を注入する多様な方法を提供する。
• 部分的およびデルタ重みマスキングは、選択的更新とマスキング戦略を通じてさらなるパラメータ削減を可能にする。
• ハイブリッドおよび統合微調整戦略は、PEFTコンポーネントの自動的または統合的最適化の道を提供する。
• 本調査はNLU、MT、NLGタスクにわたる経験的分析を含み、マルチタスク学習とクロスリンガル転送の適用についても議論する。