[論文レビュー] Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models

Xin Zhou, Ruotian Ma+4 more|arXiv (Cornell University)|Oct 14, 2021

Topic Modeling参考文献 38被引用数 4

ひとこと要約

Plug-Tagger は、分類の代わりにラベル語の予測を用いる、シーケンスラベリングのためのプラグアンドプレイフレームワークであり、ファインチューニングを必要とせず、軽量な入力ベクトルを切り替えることで、凍結された事前学習言語モデルが複数のタスクを実行可能にする。リソース制限のある環境において、タスク切り替えが最大70倍速くなり、タスク固有パrameterはたった0.1%で、標準的なファインチューニングと同等の性能を達成する。

ABSTRACT

Plug-and-play functionality allows deep learning models to adapt well to different tasks without requiring any parameters modified. Recently, prefix-tuning was shown to be a plug-and-play method on various text generation tasks by simply inserting corresponding continuous vectors into the inputs. However, sequence labeling tasks invalidate existing plug-and-play methods since different label sets demand changes to the architecture of the model classifier. In this work, we propose the use of label word prediction instead of classification to totally reuse the architecture of pre-trained models for sequence labeling tasks. Specifically, for each task, a label word set is first constructed by selecting a high-frequency word for each class respectively, and then, task-specific vectors are inserted into the inputs and optimized to manipulate the model predictions towards the corresponding label words. As a result, by simply switching the plugin vectors on the input, a frozen pre-trained language model is allowed to perform different tasks. Experimental results on three sequence labeling tasks show that the performance of the proposed method can achieve comparable performance with standard fine-tuning with only 0.1\% task-specific parameters. In addition, our method is up to 70 times faster than non-plug-and-play methods while switching different tasks under the resource-constrained scenario.

研究の動機と目的

• 事前学習言語モデル（PLM）のアーキテクチャやパラメータを変更せずに、シーケンスラベリングタスクに即座に適応可能なプラグアンドプレイ手法の実現。
• 従来のプラグアンドプレイ手法（例：プレフィックスチューニング）が、タスク固有の分類器の必要性によりシーケンスラベリングでは失敗するという制限を克服すること。
• モデル再デプロイが高コストかつ時間がかかる産業環境において、迅速なタスク切り替えを可能にすること。
• タスク固有の分類器を回避するため、シーケンスラベリングをラベル語の予測に再定式化し、PLMの言語モデルヘッドを再利用すること。
• 動的かつリソース制限のある環境で、最小限のトレーニング可能パラメータと低遅延推論を実現しながら高い性能を達成すること。

提案手法

• 各ラベルクラスに対して代表的なラベル語として頻出語を選定し、シーケンスラベリングをラベル語予測タスクに再定式化する。
• タスク固有の連続ベクトル（プラグイン）を入力シーケンスに挿入し、凍結されたPLMが対応するラベル語を予測できるように誘導する。
• タスク固有の分類器を不要にし、PLMの事前学習済み言語モデルヘッドを予測に使用する。
• 事前に定義されたラベル語マッピングテーブルを用いて、予測されたラベル語を実際のラベルに変換する。
• トレーニング中はPLMのすべてのパラメータを凍結し、入力プラグインベクトルのみを最適化する。
• 推論時にプラグインベクトルを単に置き換えることで、モデルの再訓練や再設定なしにタスク切り替えを可能にする。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャやパラメータの変更なしに、入力レベルの変更のみでシーケンスラベリングを完全にプラグアンドプレイ化できるか？
• RQ2 ラベル語予測が、性能を維持しつつ、従来の分類ヘッドに効果的に置き換え可能か？
• RQ3 パrameter効率と精度の観点から、Plug-Taggerの性能は標準的なファインチューニングと比べてどの程度か？
• RQ4 動的でマルチタスクな環境において、Plug-Taggerは推論速度とデプロイ効率をどの程度向上させるか？
• RQ5 ラベル語選択戦略が、プラグアンドプレイフレームワークのロバストネスと一般化性能に与える影響はどの程度か？

主な発見

• Plug-Tagger は、3つのシーケンスラベリングタスクにおいて、タスク固有の適応にたった0.1%のパラメータを使用しながら、標準的なファインチューニングと同等の性能を達成した。
• リソース制限のある条件下で、タスク切り替えが非プラグアンドプレイ手法と比べ最大70倍速くなった。
• 頻出語選択によるラベル語予測により、多様なラベルセットにわたってPLMの言語モデルヘッドを効果的に再利用できるようになった。
• NER、POSタギング、チャンクングのすべてのタスクで強力な性能を維持し、CoNLL2003およびACE2005では一貫した向上が見られたが、隣接する同じラベルのフレーズが誤ってグループ化されるため、チャンキングタスクで性能低下が観察された。
• 正確な一致を基にラベル語を選択するExactMatch戦略は、ラベルの一貫性と語の頻度が重要な状況では、GreedyMatchを上回る性能を示した。
• プラグアンドプレイ機構により、モデルの完全な再利用が可能になり、タスク切り替え時にモデルの再トレーニングや再デプロイの必要がなくなった。