[論文レビュー] EncT5: Fine-tuning T5 Encoder for Non-autoregressive Tasks

Frederick Liu, Siamak Shakeri+2 more|arXiv (Cornell University)|Oct 16, 2021

Topic Modeling参考文献 12被引用数 11

ひとこと要約

この論文では、分類や回帰などの非自己回帰的タスク向けに、事前学習済みT5モデルのエンコーダーのみを微調整する手法EncT5を提案する。エンコーダーのみを活用することで、EncT5は全モデルの半分未満のパラメータで、GLUEベンチマーク上で同等の性能を達成し、高い効率性を示している。

ABSTRACT

Encoder-decoder transformer architectures have become popular recently with the advent of T5 models. It is also more favorable over architectures like BERT for pre-training on language model task when it comes to large scale models which could take months to train given it's generality. While being able to generalize to more tasks, it is not evident if the proposed encoder-decoder architecture is the most efficient for fine-tuning on classification and regression tasks given the pre-trained model. In this work, we study fine-tuning pre-trained encoder-decoder models such as T5. Particularly, we propose extbf{EncT5} as a way to efficiently fine-tune pre-trained encoder-decoder T5 models for classification and regression tasks by using the encoder layers. Our experimental results show that extbf{EncT5} with less than half of the parameters of T5 performs similarly to T5 models on GLUE benchmark. We believe our proposed approach can be easily applied to any pre-trained encoder-decoder model.

研究の動機と目的

• 事前学習済みT5モデルのエンコーダーのみを微調整することで、非自己回帰的タスクにおいて全T5モデルと同等の性能を達成できるかどうかを調査すること。
• 分類および回帰タスクの下流タスクにおいて、T5のようなエンコーダー・デコーダー・モデルの微調整におけるパrameter効率を向上させること。
• エンコーダーのみの適応に焦点を当てることで、任意の事前学習済みエンコーダー・デコーダー・モデルに一般化可能なアプローチを提供すること。
• 計算コストと推論時間を削減しながら、標準ベンチマークで競争力ある性能を維持すること。

提案手法

• 事前学習済みT5モデルのデコーダーおよびデコーダー・アテンション層を固定し、分類および回帰タスク用にエンコーダーのみを微調整する。
• 入力シーケンスはトークン化され、T5エンコーダーに供給され、文脈的な表現が生成される。この表現が分類または回帰ヘッドに使用される。
• エンコーダーの最終層からの[CLS]トークン表現に分類または回帰ヘッドを接続し、予測を行う。
• 分類タスクおよび回帰タスクにそれぞれ標準的な交差エントロピー損失または平均二乗誤差損失を用いて、エンド・ツー・エンドでモデルを微調整する。
• 分類および回帰タスクの標準指標を用いて、GLUEベンチマーク上でアプローチを評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みT5モデルのエンコーダーのみを微調整することで、非自己回帰的タスクにおいて全T5モデルの微調整と同等の性能を達成できるか？
• RQ2 さまざまなGLUEタスクにおいて、EncT5のパrameter効率は全T5モデルと比べてどの程度か？
• RQ3 エンコーダーのみの適応は、多様なNLPタスクにおいて一般化能力を維持できるか？
• RQ4 この手法はT5を超えた他の事前学習済みエンコーダー・デコーダー・モデルに対しても一般化可能か？

主な発見

• EncT5は、全T5モデルの半分未満のパラメータを使用しながらも、GLUEベンチマークで同等の性能を達成している。
• エンコーダーのみの適応は、分類および回帰の両方を含む多様なNLPタスクにおいて強力な一般化能力を維持している。
• 微調整時のモデルサイズと計算コストを顕著に削減しながら、タスクの性能を保持している。
• このアプローチは移植可能であり、最小限の修正で任意の事前学習済みエンコーダー・デコーダー・モデルに適用可能である。