[論文レビュー] Parameter-Efficient Tuning on Layer Normalization for Pre-trained Language Models

Qi Wang, Yu-Ping Ruan+2 more|arXiv (Cornell University)|Nov 16, 2022

Ferroelectric and Negative Capacitance Devices被引用数 7

ひとこと要約

本稿では、事前学習言語モデルにおけるレイヤー正則化の学習可能ゲインおよびバイアスパラメータのみを微調整する、パラメータ効率の高い手法LN-tuningを提案する。わずか0.1%未塔のトレーニング可能なパラメータ（具体的には0.03%）で最先端の性能を達成し、高い訓練効率を実現している。さらに、LN-tuningをプレフィックスチューニングと組み合わせることで、統合されたアダプタベース手法よりも優れた結果が得られることを示している。

ABSTRACT

Conventional fine-tuning encounters increasing difficulties given the size of current Pre-trained Language Models, which makes parameter-efficient tuning become the focal point of frontier research. Previous methods in this field add tunable adapters into MHA or/and FFN of Transformer blocks to enable PLMs achieve transferability. However, as an important part of Transformer architecture, the power of layer normalization for parameter-efficent tuning is ignored. In this paper, we first propose LN-tuning, by tuning the gain and bias term of Layer Normalization module with only 0.03\% parameters, which is of high time-efficency and significantly superior to baselines which are less than 0.1\% tunable parameters. Further, we study the unified framework of combining LN-tuning with previous ones and we find that: (1) the unified framework of combining prefix-tuning, the adapter-based method working on MHA, and LN-tuning achieves SOTA performance. (2) unified framework which tunes MHA and LayerNorm simultaneously can get performance improvement but those which tune FFN and LayerNorm simultaneous will cause performance decrease. Ablation study validates LN-tuning is of no abundant parameters and gives a further understanding of it.

研究の動機と目的

• トランスフォーマー構造における中心的役割を果たすが、これまであまり注目されていなかったレイヤー正則化（LayerNorm）の、パラメータ効率の高い微調整における潜在的価値を解明すること。
• 大規模な事前学習言語モデルにおけるフル微調整の非効率性と高コストを解消するため、最小限のパラメータサブセットのみを変更する軽量なチューニング手法を導入すること。
• 統合フレームワーク内での既存のパラメータ効率の高い技術（例：プレフィックスチューニング、アダプタベース手法）とLN-tuningを組み合わせた有効性を調査すること。
• アブレーションスタディおよびゲイン・バイアス項の変化を各層およびタスクで可視化することで、LN-tuningの挙動と影響を理解すること。

提案手法

• 事前学習言語モデルのLayerNormモジュールに学習可能なゲイン（γ）およびバイアス（β）パラメータを導入し、他のすべてのPLM重みを固定したまま、これらのパラメータのみを微調整する、新しい手法LN-tuningを提案する。
• 各トランスフォーマーブロックにおけるマルチヘッドアテンション（MHA）およびフィードフォワードネットワーク（FFN）の直後のLayerNormレイヤーにのみLN-tuningを適用することで、最小限のパラメータ更新で高い効率性を実現する。
• プレフィックスチューニングとLN-tuningを統合フレームワーク内で組み合わせ、MHA内の連続的プロンプトベクトルとLayerNormパラメータを同時に最適化する。
• アブレーションスタディを用いて、個々のゲインおよびバイアス項の寄与度、および異なる層やモデルサイズにおける変動を分析する。
• ゲインおよびバイアス項の絶対変化をL1ノルムを用いて可視化し、トレーニング中のパラメータダイナミクスを理解する：$\frac{1}{\text{dim}(\bm{t})}\|\bm{t}_{o}-\bm{t}_{f}\|_{1}$。
• テキスト分類、名前付きエンティティ認識、質問応答など多様な自然言語理解（NLU）タスクを対象に評価することで、汎化性およびスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 レイヤー正則化のゲインおよびバイアスパラメータは、事前学習言語モデルにおけるパラメータ効率の高い微調整に有効に活用できるか？
• RQ2 0.1%未満のトレーニング可能なパラメータを用いた場合、LN-tuningは既存のアダプタベース手法やプロンプトチューニング手法と比較して、性能および効率で優れているか？
• RQ3 LN-tuningをプレフィックスチューニングやアダプタベース手法と組み合わせた場合、下流タスクの性能にどのような影響を与えるか？
• RQ4 なぜMHAとLayerNormを同時にチューニングすると性能が向上する一方で、FFNとLayerNormを同時にチューニングすると性能が低下するのか？
• RQ5 学習されたゲインおよびバイアスパラメータは、層、タスク、モデルサイズに応じてどのように変化するか？これにより、それらが適応化に果たす役割がどのように明らかになるか？

主な発見

• LN-tuningは、モデル全体のパラメータのうちたった0.03%しかトレーニング不能にしないため、パラメータ効率の観点で標準的な微調整や他のパラメータ効率の高い手法を大きく上回る性能を達成している。
• プレフィックスチューニングとLN-tuningを統合したフレームワークは、MHAとFFNを同時にチューニングする統合型アダプタベース手法MAMを上回り、複数のNLUベンチマークで最先端の性能を達成している。
• MHAとLayerNormを同時にチューニングすると性能が向上するが、FFNとLayerNormを同時にチューニングすると性能が低下する。これは、これらのコンponent間で負の相互作用が生じていることを示している。
• ゲインおよびバイアスパラメータは、特に大規模モデルにおいて、深い層（例：15–24層）で顕著に変化しており、後段の層がドメインやタスクの変化に対してより感受性であることが示唆されている。
• パラメータ変化の程度はタスクの複雑さおよびデータセットサイズと相関している：質問応答（CSQA）や名前付きエンティティ認識（Twitter）などのタスクでは、二値分類タスク（例：SST-2）よりも大きな変化を示しており、より大きなデータセットではより多くのパラメータ変化が生じている。
• 可視化により、ゲイン項はバイアス項よりも顕著に変化しており、特に複雑または大規模なタスクでは変化の大きさが顕著であることが判明した。これは、ゲインの適応化がドメイン適応においてより重要な役割を果たしていることを示している。