[論文レビュー] LightNER: A Lightweight Generative Framework with Prompt-guided Attention for Low-resource NER

Xiang Chen, Ningyu Zhang+7 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling参考文献 63被引用数 26

ひとこと要約

LightNERは、プロンプト誘導型アテンションと意味的意識のある回答空間構築を活用することで、最小限のパラメータチューニングで高い性能を達成する軽量な生成フレームワークを提案する。事前学習モデルの重みを固定し、連続的プロンプトのみを微調整することで、低リソース設定で最先端の結果を達成する。

ABSTRACT

Most existing NER methods rely on extensive labeled data for model training, which struggles in the low-resource scenarios with limited training data. Recently, prompt-tuning methods for pre-trained language models have achieved remarkable performance in few-shot learning by exploiting prompts as task guidance to reduce the gap between training progress and downstream tuning. Inspired by prompt learning, we propose a novel lightweight generative framework with prompt-guided attention for low-resource NER (LightNER). Specifically, we construct the semantic-aware answer space of entity categories for prompt learning to generate the entity span sequence and entity categories without any label-specific classifiers. We further propose prompt-guided attention by incorporating continuous prompts into the self-attention layer to re-modulate the attention and adapt pre-trained weights. Note that we only tune those continuous prompts with the whole parameter of the pre-trained language model fixed, thus, making our approach lightweight and flexible for low-resource scenarios and can better transfer knowledge across domains. Experimental results show that LightNER can obtain comparable performance in the standard supervised setting and outperform strong baselines in low-resource settings by tuning only a small part of the parameters.

研究の動機と目的

• ラベル付きデータが乏しい低リソースNamed Entity Recognition (NER) の課題に対処すること。
• 事前学習言語モデルにおけるプロンプトチューニングを活用することで、大規模なアノテート済みデータセットへの依存を低減すること。
• パラメータの微調整を最小限に抑えつつも高い性能を維持できる軽量なフレームワークを設計すること。
• 連続的プロンプトによるアテンション再調整を通じて、ゼロショットおよびフェイシュートのドメイン間転送性を向上させること。

提案手法

• ラベル固有の分類器を用いずに、生成デコードをガイドするための意味的意識のあるエンティティカテゴリ用の回答空間を構築する。
• 自己アテンション機構に連続的プロンプトを統合することで、プロンプト誘導型アテンションを導入し、アテンション重みを再調整する。
• すべての事前学習モデルパラメータを固定し、連続的プロンプトのみを微調整することで、モデルの効率性とパラメータの軽量化を確保する。
• プロンプト学習を活用して事前学習とダウンストリームチューニングのギャップを埋め、低リソース状況における知識の転送を強化する。
• プロンプトに従って、エンティティスパンとその対応するカテゴリを、生成型のエンコーダー・デコーダー・シーケンス・トゥ・シーケンスフレームワークによって一括して生成する。
• 事前学習モデルのインダクティブバイアスを活用しながら、プロンプトベースのアテンション適応によって、ダウンストリーム NER タスクに適応する。

実験結果

リサーチクエスチョン

• RQ1 最小限のパラメータ更新で、低リソース NER において競争力のある性能を達成できる軽量な生成フレームワークは存在するか？
• RQ2 ベースモデルを微調整せずに、プロンプト誘導型アテンションは NER のアテンション表現をどの程度改善できるか？
• RQ3 意味的意識のある回答空間構築は、NER におけるフェイシュート一般化をどの程度向上できるか？
• RQ4 固定された事前学習重みを用いたプロンプトチューニングは、低リソース設定におけるドメイン間転送性を向上させるか？
• RQ5 標準的および低リソース NER ベンチマークにおいて、LightNER は強力なベースラインと比較してどの程度優れているか？

主な発見

• LightNER は、フルデータ設定においても、標準的な教師あり手法と同等の性能を達成しており、強力な一般化能力を示している。
• 低リソース設定では、強力なベースラインを上回る性能を発揮しており、フェイシュート状況下での有効性が確認された。
• 事前学習モデルを凍結したまま、わずかに少数の連続的プロンプトを微調整することで、高い性能を維持している。
• プロンプト誘導型アテンションはアテンション表現を改善し、データ不足下でもエンティティ認識の正確性を向上させる。
• 意味的意識のある回答空間により、タスク固有の分類器を用いずに、正確で整合性のあるエンティティスパンおよびラベルの生成が可能になった。
• パラメータ効率的かつプロンプト駆動の適応メカニズムのおかげで、ドメイン間での高い転送性を示した。