[論文レビュー] Prompt-based Text Entailment for Low-Resource Named Entity Recognition

Dongfang Li, Baotian Hu+1 more|arXiv (Cornell University)|Nov 6, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、事前学習言語モデル（PLM）を用いて低リソース Named Entity Recognition（NER）をテキスト帰納タスクに再定式化する、Promptベースのテキスト帰納（PTE）という新規手法を提案する。エンティティタイプ固有のプロンプトを仮説とし、入力文を前提とすることで、微調整を必要とせずPLMの知識を活用する。MIT MovieおよびFew-NERDデータセットにおいて、1エンティティタイプあたり50件未塔のラベル付き例しか使用しない状況でも、最先端の性能を達成した。

ABSTRACT

Pre-trained Language Models (PLMs) have been applied in NLP tasks and achieve promising results. Nevertheless, the fine-tuning procedure needs labeled data of the target domain, making it difficult to learn in low-resource and non-trivial labeled scenarios. To address these challenges, we propose Prompt-based Text Entailment (PTE) for low-resource named entity recognition, which better leverages knowledge in the PLMs. We first reformulate named entity recognition as the text entailment task. The original sentence with entity type-specific prompts is fed into PLMs to get entailment scores for each candidate. The entity type with the top score is then selected as final label. Then, we inject tagging labels into prompts and treat words as basic units instead of n-gram spans to reduce time complexity in generating candidates by n-grams enumeration. Experimental results demonstrate that the proposed method PTE achieves competitive performance on the CoNLL03 dataset, and better than fine-tuned counterparts on the MIT Movie and Few-NERD dataset in low-resource settings.

研究の動機と目的

• ラベル付きデータが乏しい低リソース環境において、正確なNERモデルを訓練する課題に対処すること。
• 微調整の限界を克服すること。微調整は大量のラベル付きデータを必要とし、低リソース状況では高い分散を示す。
• NERをテキスト帰納タスクに再定式化することで、PLMをより効果的に活用し、ドメイン間での知識移行を実現すること。
• 完全なシーケンスアノテーションを必要とせず、異なるドメインにわたって統合的な推論フレームワークを構築すること。
• 最小限の監視情報で、few-shotおよびzero-shot NERを有効に可能にするために、プロンプトベースの学習を活用すること。

提案手法

• NERをテキスト帰納タスクに再定式化する：入力文を前提とし、エンティティタイプ固有のプロンプトを仮説とする。
• 各トークン位置における各候補エンティティタイプについて、PLMを用いて帰納スコアを計算し、最もスコアの高いタイプを最終ラベルとして選択する。
• タギングラベルをプロンプトに組み込み、n-gramスパンではなく個々の語を基本単位とすることで、計算複雑度を低減する。
• 特に低リソース状況での性能向上を図るために、離散的およびソフトプロンプトチューニング戦略を併用する。
• 一般向けテキスト帰納データセット（例：SNLI、MNLI）を事前学習に活用し、低リソースドメインへの一般化性能を向上させる。
• 下流のNERタスクにおける微調整を不要とするために、分類層を追加しないプロンプトベースの学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 NERをテキスト帰納タスクに再定式化することで、低リソース環境における性能向上が図れるか？
• RQ2 わずか数個のラベル付き例しか利用できない状況で、プロンプトベースのテキスト帰納は標準的な微調整と比べてどのように性能を発揮するか？
• RQ3 プロンプト設計、特にラベル条件付きプロンプトとソフト対離散的プロンプトの影響が、低リソースNER性能に与える影響は何か？
• RQ4 汎用的テキスト帰納データセットからの知識は、ドメイン特化の微調整なしにfew-shot NERを向上させられるか？
• RQ5 標準的なトークン単位の予測と比較して、帰納ベースのアプローチは語彙的・意味的整合性をより効果的に保持できるか？

主な発見

• PTEは、リソース豊富なベンチマークとして機能するCoNLL03データセットでも、競争力のあるF1スコアを達成した。
• MIT Movieデータセットでは、1エンティティタイプあたり50件未塔のラベル付き例しか使用しない状況でも、微調整済みBERTモデルを大きく上回った。
• Few-NERDデータセットでは、ソフトプロンプティングを用いたPTEが500ショットでF1スコア67.4を達成し、次善の手法（66.8）を顕著に上回り、低ショット設定でも一貫した向上を示した。
• ソフトプロンプティングバージョンは、特に低リソース環境において、離散プロンプティングバージョンを常に上回った。これは、連続的プロンプト最適化の利点を示している。
• アブレーションスタディの結果、ネガティブ例（特にnullラベル用）は性能に重要であり、低リソース状況ではその影響が顕著に現れた。
• ラベル条件付きプロンプトとソフトプロンプティングは、常にモデル性能を向上させた。これは、NERにおける効果的なプロンプトベースの知識移行に、これらの要素が不可欠であることを示している。