[論文レビュー] LightNER: A Lightweight Tuning Paradigm for Low-resource NER via Pluggable Prompting

Xiang Chen, Lei Li+7 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling被引用数 39

ひとこと要約

LightNER は NER を生成タスクとして再構成し、統一された verbalizer を導入し、軽量で分野横断・タスク横断転送を可能にするプラグイン可能なガイダンスモジュールを導入して、PLM パラメータを更新せずに実現します。

ABSTRACT

Most NER methods rely on extensive labeled data for model training, which struggles in the low-resource scenarios with limited training data. Existing dominant approaches usually suffer from the challenge that the target domain has different label sets compared with a resource-rich source domain, which can be concluded as class transfer and domain transfer. In this paper, we propose a lightweight tuning paradigm for low-resource NER via pluggable prompting (LightNER). Specifically, we construct the unified learnable verbalizer of entity categories to generate the entity span sequence and entity categories without any label-specific classifiers, thus addressing the class transfer issue. We further propose a pluggable guidance module by incorporating learnable parameters into the self-attention layer as guidance, which can re-modulate the attention and adapt pre-trained weights. Note that we only tune those inserted module with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that LightNER can obtain comparable performance in the standard supervised setting and outperform strong baselines in low-resource settings. Code is in https://github.com/zjunlp/DeepKE/tree/main/example/ner/few-shot.

研究の動機と目的

• ラベル付きデータが乏しく、ドメイン間でラベルセットが異なる（クラス転移）状況において robust な NER を促進する。
• ラベル特定の分類器を用意することなく、統一された verbalizer で異なるエンティティカテゴリを対処する生成的フレーミングの NER を提案する。
• 事前学習済み LM のアテンションを再調整するプラグラブルなガイダンスモジュールを導入し、LM を固定したままクロスドメイン知識転送を実現する。
• LightNER が豊富なリソース設定で競争力のある性能を示し、複数のデータセットにおいて低リソース設定で優れた結果を示す。

提案手法

• エンティティカテゴリを記述語へマッピングする統一可能な verbalizer を用いて、NER をシーケンスラベリングから生成フレームワークへ転換する。
• 入力 X からエンティティのスパンとカテゴリを生成するために、ポインタ機構を備えた seq2seq を用いる。
• 各エンティティタイプをラベル語の集合へマップし、それらを結合して p_tag を構成する重みを学習する統一 verbalizer を構築する。
• 自己注意層に trainable パラメータを挿入して注意を再モジュレートしつつ、PLM を固定するプラグラブルなガイダンスモジュールを組み込む。
• バックボーン LM を凍結したまま、プラグラブルなガイダンスと verbalizer の重み（beta）のみを訓練する軽量なチューニングを適用する。
• クラス転移とドメイン知識のガイダンスを分離することで、クロスドメイン転送とクロスタスク適応性を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一された verbalizer は、モデルアーキテクチャを変更せずに低リソースの NER におけるクラス転移を可能にできるのか。
• RQ2 凍結された PLM の上にプラグラブルなガイダンスモジュールを置くことは、NER のクロスドメイン・クロスタスク知識転送を効果的に支援できるのか。
• RQ3 標準の監視下学習と低リソースのクロスドメイン設定において、LightNER はベースラインと比較してどうか。
• RQ4 生成的 NER フレームワークで最小の訓練可能パラメータでドメイン間・タスク間の知識転送を実現可能か。

主な発見

• LightNER は標準的な supervised 設定で強力なベースラインと競争力のある性能を達成する。
• 低リソースでのクロスドメイン設定において、LightNER は LC-BERT、テンプレートベースの BART、BERT-MRC を含むいくつかのベースラインより一貫して上回る。
• アブレーションにより、プラグラブルガイダンスモジュールがクロスドメインの改善に大きく寄与する一方、統一 verbalizer はクラス転移を扱う。
• 完全なパラメータ調整は恩恵が限定的で、クロスドメイン転送能力を低下させるため、軽量でプラグラブルなアプローチの重要性を浮き彫りにしている。
• 混合ガイダンスプロンプトを用いたゼロショットのクロスドメイン結果は、他の手法と比較して意味のある転送能力を示す。