[論文レビュー] Template-Based Named Entity Recognition Using BART

Leyang Cui, Yu Wu+3 more|arXiv (Cornell University)|Jun 3, 2021

Topic Modeling参考文献 29被引用数 11

ひとこと要約

この論文は、BARTを用いたテンプレートベースの少サンプル命名エンティティ認識（NER）手法を提案する。NERをシーケンス・ツー・シーケンス生成タスクとして扱い、候補となるスパンを埋め込んだテンプレート（例：'Bangkok は場所エンティティです'）を用いてスコアを付ける。このアプローチは、リソースが乏しいドメインにおいて、微調整済みの BERT やメトリックベースの手法を著しく上回り、CoNLL03 で 92.55 の F1 スコアを達成し、MIT Movie、MIT Restaurant、ATIS でそれぞれ 10.88～15.34 の F1 スコア上昇を達成した。

ABSTRACT

There is a recent interest in investigating few-shot NER, where the low-resource target domain has different label sets compared with a resource-rich source domain. Existing methods use a similarity-based metric. However, they cannot make full use of knowledge transfer in NER model parameters. To address the issue, we propose a template-based method for NER, treating NER as a language model ranking problem in a sequence-to-sequence framework, where original sentences and statement templates filled by candidate named entity span are regarded as the source sequence and the target sequence, respectively. For inference, the model is required to classify each candidate span based on the corresponding template scores. Our experiments demonstrate that the proposed method achieves 92.55% F1 score on the CoNLL03 (rich-resource task), and significantly better than fine-tuning BERT 10.88%, 15.34%, and 11.73% F1 score on the MIT Movie, the MIT Restaurant, and the ATIS (low-resource task), respectively.

研究の動機と目的

• リソースが豊富なソースドメインとは異なるラベルセットを持つリソースが乏しいドメインにおける少サンプル命名エンティティ認識の課題に対処すること。
• モデルパラメータを更新できない上に文脈パターンの類似性に依存する既存の類似度ベースのメトリック手法の限界を克服すること。
• 出力層の再トレーニングや一貫したラベルセットの必要なしに、ゼロショットおよび少サンプルの新しいエンティティタイプへの適応を可能にすること。
• BART のような事前学習モデルの生成的特性を活用することで、ソースドメインからターゲットドメインへの知識転送を向上させること。
• 出力層の変更や再トレーニングなしに、新しいエンティティタイプを段階的に追加できる継続的学習を可能にすること。

提案手法

• NER をシーケンス・ツー・シーケンス生成問題として扱う：入力は元の文であり、出力は候補スパンとエンティティタイプで埋められたテンプレート（例：'Bangkok は場所エンティティです'）である。
• 各スパンに対して正しいエンティティアサーションを生成できるように、テンプレートを用いてソースドメインデータで BART を微調整する。
• 推論時、入力文内のすべての候補スパンを列挙し、モデルが対応するテンプレートを生成する尤度を用いて各スパンをスコア化する。
• 非エンティティ用のテンプレート（例：'<span> は命名エンティティではありません'）を用いることで、スパンの二値分類を可能にする。
• 事前学習言語モデルの一般化能力を活用し、書式やラベルセットが異なるドメイン間での知識転送を可能にする。
• 出力層の変更や再トレーニングなしに、新しいドメインで微調整することで継続的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 出力層の再トレーニングなしに、任意の新しいエンティティタイプを対象として、BART のような生成的事前学習モデルを効果的に少サンプル NER に適応できるか？
• RQ2 テンプレートベースの NER は、リソースが乏しいドメイン間設定において、従来のシーケンスラベル付け手法やメトリックベースの少サンプル手法と比べてどのように性能を発揮するか？
• RQ3 異なるライティングスタイルやラベル分布を持つドメイン間で、この手法がどの程度一般化できるか？
• RQ4 この手法は、少サンプル状況下で低頻度および中頻度エンティティタイプの性能を向上させるか？
• RQ5 モデルは、災難的忘却や再トレーニングなしに、新しいエンティティタイプを段階的に統合することで継続的学習をサポートできるか？

主な発見

• 提案手法は CoNLL03 ベンチマークで 92.55 の F1 スコアを達成し、リソースが豊富な NER において優れた性能を示した。
• リソースが乏しいドメインでは、MIT Movie、MIT Restaurant、ATIS でそれぞれ BERT を 10.88、15.34、11.73 F1 ポints 上回った。
• 中頻度および低頻度エンティティタイプにおいても、同様に優れたロバスト性を示し、MIT Restaurant、MIT Movie、ATIS で BERT よりそれぞれ 6.6、6.9、5.4 の F1 スコア上昇を達成した。
• 継続的学習の実験では、CoNLL03 モデルを MIT Movie や MIT Restaurant で微調整しても、CoNLL03 の性能がわずかに低下するにとどまり、強力なドメイン一般化能力を示した。
• t-SNE 視覚化により、テンプレートベースの BART の出力埋め込みは、BERT のデータセットクラスタリングされた埋め込みとは異なり、よりドメインに依存せずスパarsely 分布していることが示され、より優れたドメイン間一般化能力を示している。
• 誤差解析の結果、ラベルの意味的類似性（例：'SONG'）がソースドメインのラベル（例：'PERSON'）から大きく離れている場合、性能が低下するが、それでも同様にレアまたは意味的に遠いラベルにおいても BERT を上回った。