[論文レビュー] Exploring Versatile Generative Language Model Via Parameter-Efficient Transfer Learning

Zhaojiang Lin, Andrea Madotto+1 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 48被引用数 4

ひとこと要約

本論文は、1つの事前学習済み生成言語モデル（例：GPT-2）を、残差アダプタ層とタスク埋め込みを用いて、同時に複数の下流言語生成タスクに効率的に適応するパrameter効率的な手法を提案する。各タスクごとにたった2–3%のタスク固有パラメータを追加するだけで、フル微調整と同等またはそれ以上の性能を達成でき、デバイス内での効率的なデプロイが可能になる。

ABSTRACT

Fine-tuning pre-trained generative language models to down-stream language generation tasks has shown promising results. However, this comes with the cost of having a single, large model for each task, which is not ideal in low-memory/power scenarios (e.g., mobile). In this paper, we propose an effective way to fine-tune multiple down-stream generation tasks simultaneously using a single, large pre-trained model. The experiments on five diverse language generation tasks show that by just using an additional 2-3% parameters for each task, our model can maintain or even improve the performance of fine-tuning the whole model.

研究の動機と目的

• 特にメモリ制限のある環境において、各下流言語生成タスクごとに別々の大規模モデルを微調整する方法の非効率性を解消すること。
• バックボーンを再訓練することなく、1つの事前学習済み言語モデルが動的に複数の多様な生成タスクを処理できるようにすること。
• パラメータの更新を最小限に抑えつつ、性能を維持または向上させるパrameter効率的な微調整技術を検討すること。
• パrameter効率的な適応におけるマルチタスク学習と継続的学習の設定のトレードオフを評価すること。

提案手法

• 各トランスフォーマーブロックの後に挿入されるタスク固有のアダプタ層（残差アダプタ層）を導入し、主モデルの微調整中に学習可能なパラメータを固定する。
• タスク埋め込みを用いてアダプタ層を条件づけ、モデルがタスクごとに生成行動を動的に適応できるようにする。
• フル微調整モデルからアダプタオンativeモデルへの知識蒸留を適用し、性能を向上させる。
• 一般化性能と深刻な忘却の両面を比較するため、マルチタスク学習（MT）と継続的学習（CL）の両設定で学習を実施する。
• 事前学習済み言語モデルの重みを固定し、アダプタおよびタスク埋め込みパラメータのみを微調整することで、メモリおよび計算コストを削減する。
• 要約、機械翻訳、対話生成、会話的QA、タスク指向的NLGの5つの多様なタスクで共通のバックボーン（例：GPT-2）を活用する。

実験結果

リサーチクエスチョン

• RQ1 わずかな追加パラメータ数で、1つの事前学習済み言語モデルを複数の多様な言語生成タスクに効果的に適応できるか？
• RQ2 複数の生成タスクにわたるパrameter効率的な適応の性能は、フル微調整と比べてどうか？
• RQ3 マルチタスク学習および継続的学習の文脈において、言語モデルの重みを固定するか微調整するかの違いが、性能に与える影響は何か？
• RQ4 知識蒸留は、アダプタベースのモデルの性能向上にどの程度効果的か？
• RQ5 タスク埋め込みは、モデルの生成出力を特定のタスク固有の行動に効果的に誘導できるか？

主な発見

• 提案手法は、5つの多様な言語生成タスクで平均57.97 BLEU/F1を達成し、フル微調整（57.77）を上回り、ベースモデルの1.13倍のパラメータでSOTA結果を達成した。
• アダプタおよびタスク埋め込みによる追加パラメータがタスクごとにたった2–3%にとどまるが、フル微調整と同等またはそれ以上の性能を維持・向上させ、高いパラメータ効率性を示した。
• 蒸留とアダプタを組み合わせたモデル（VLM）は、要約タスクで24.19 ROUGE-2および67.1 F1を達成し、フル微調整（25.45 ROUGE-2、66.4 F1）およびSOTAシステムを上回った。
• タスク埋め込みを削除すると、性能が著しく低下（例：平均スコア47.25）し、タスク固有の適応においてその重要性が明確になった。
• 継続的学習（CL）で学習したモデルは一部の設定でマルチタスク学習（MT）よりも一般化性能が優れており、CLが順次タスクデプロイに適している可能性を示唆した。
• 対話生成タスクでは、CoQAで66.2 F1を達成し、SOTAシステム（66.2）と同等で、人間の基準値にも一致したが、使用パラメータ数は少なく抑えられた。