[論文レビュー] InstructionNER: A Multi-Task Instruction-Based Generative Framework for Few-shot NER

Liwen Wang, Rumei Li+5 more|arXiv (Cornell University)|Mar 8, 2022

Topic Modeling被引用数 25

ひとこと要約

tldr: InstructionNERは、タスク固有の指示と回答オプションを加えたシーケンス変換生成タスクとしてNERを再定義し、2つの補助タスクを追加することで、少数ショットNERの性能を向上させる。

ABSTRACT

Recently, prompt-based methods have achieved significant performance in few-shot learning scenarios by bridging the gap between language model pre-training and fine-tuning for downstream tasks. However, existing prompt templates are mostly designed for sentence-level tasks and are inappropriate for sequence labeling objectives. To address the above issue, we propose a multi-task instruction-based generative framework, named InstructionNER, for low-resource named entity recognition. Specifically, we reformulate the NER task as a generation problem, which enriches source sentences with task-specific instructions and answer options, then inferences the entities and types in natural language. We further propose two auxiliary tasks, including entity extraction and entity typing, which enable the model to capture more boundary information of entities and deepen the understanding of entity type semantics, respectively. Experimental results show that our method consistently outperforms other baselines on five datasets in few-shot settings.

研究の動機と目的

• データ不足のNERに対処し、事前学習と微調整を指示付き生成を介して橋渡しすることを Motivate and address data-scarce NER by bridging pre-training and fine-tuning through instruction-tuned generation.
• NERを記述的な指示と明示的な出力オプション空間を用いてseq2seq生成問題として再定義すること。
• エンティティ抽出とエンティティ型付けという2つの補助タスクを導入し、境界認識と型意味論を改善する。
• 複数のNERベンチマークで少数ショット設定の有効性を示し、性能に影響を与える要因を分析する。

提案手法

• NERを自然言語生成タスクとして再定式化し、T5（seq2seq）で解く。入力は文、指示、およびオプション（エンティティタイプ）を含む。
• 自然言語を用いてエンティティとその型を出力するテンプレートを使用；エンティティ型トークンの2つの戦略（自然言語形式 vs 合成トークン）をサポート。
• 2つの補助タスクを導入：エンティティ抽出（エンティティのスパンを抽출）とエンティティ型付け（与えられたエンティティ出現を型付け）；メインタスクと jointly training。
• T5の出力を標準的なNERトリプレット（l, r, t）に変換するパーシング手順を用い、スパンを元の文と照合して整合させる。
• InstructionNERのバリアント（ETおよびEE有/無）を比較し、指示調整および補助タスクの影響を分析。
• ビーム探索を用いたデコーディングで、few-shot設定下のいくつかのデータセットをF1で評価。

実験結果

リサーチクエスチョン

• RQ1 指示ベースの生成フレーミングは、従来のプロンプトベースおよび生成法と比較して少数ショットNERを改善できるか？
• RQ2 エンティティ境界（抽出）と型意味論（型付け）に焦点を当てた補助タスクは、低リソースNERで測定可能な向上をもたらすか？
• RQ3 ラベル表現の選択（自然言語 vs 合成トークン）は、低リソース環境と高リソース環境で性能にどう影響するか？

主な発見

Method	MIT Movie 10-shot	MIT Movie 20-shot	MIT Movie 50-shot	MIT Restaurant 10-shot	MIT Restaurant 20-shot	MIT Restaurant 50-shot	ATIS 10-shot	ATIS 20-shot	ATIS 50-shot
Baseline: Template	37.3	48.5	52.2	46.0	57.1	58.7	71.7	79.4	92.6
BARTNER	41.1	54.0	67.7	44.0	56.0	64.0	77.7	86.1	93.4
LightNER	41.7	57.8	73.1	48.5	58.0	62.0	76.3	85.3	92.8
InstructionNER	64.4 (±2.1)	70.0 (±0.3)	74.1 (±1.2)	58.7 (±1.2)	65.5 (±1.4)	71.2 (±1.1)	90.7 (±0.3)	93.0 (±0.4)	95.1 (±0.5)

• InstructionNERはMIT Movie、MIT Restaurant、ATISのデータセットで10/20/50ショット設定において一貫してベースラインを上回る。
• 補助タスクETとEEは低リソース状況で追加の利得を提供し、ETは型の正確さを、EEは境界/スパン性能を向上させる。組み合わせのET+EEは一部設定でノイズを導入する場合がある。
• 指示とオプションを用いる（InstructionNER）は、T5ネイティブ（指示なし）ベースラインより明確な利得をもたらし、特に少数ショット域で顕著。
• ドメイン横断転移（CoNLL03ソースからMIT Restaurantターゲット）でもInstructionNERはベースラインより優位または競合的な利得を達成。
• ラベル意味論の分析では、少数ショットでは自然言語のラベル形が合成トークンより優れる一方、より豊かな監視には合成トークンが役立つ場合がある。