[論文レビュー] Example-Based Named Entity Recognition

Morteza Ziyadi, Yuting Sun+3 more|arXiv (Cornell University)|Aug 24, 2020

Topic Modeling参考文献 25被引用数 29

ひとこと要約

本論文は、質問応答にインspiredされた、トレーニング不要で例示ベースの名前付きエンティティ認識（NER）手法を提案する。この手法により、新しいエンティティタイプへのゼロショット適応が、たった数個のサポート例のみで可能になる。ATIS や MIT Movie などのオフドメインデータセットにおいて、エンティティタイプあたり10個のサポート例でのみ、30%以上のF1スコアの絶対的向上を達成し、従来の最先端手法を低ショット設定で上回る性能を発揮する。

ABSTRACT

We present a novel approach to named entity recognition (NER) in the presence of scarce data that we call example-based NER. Our train-free few-shot learning approach takes inspiration from question-answering to identify entity spans in a new and unseen domain. In comparison with the current state-of-the-art, the proposed method performs significantly better, especially when using a low number of support examples.

研究の動機と目的

• 微少リソースかつオフドメイン設定において、ファインチューニングなしで、未観測の新しい名前付きエンティティを認識する課題に対処すること。
• 専門家でないユーザーが、最小限のデータとモデル再トレーニングなしで、カスタムビジネスエンティティに迅速にNERモデルを適応させられること。
• ドメインに依存せずエンティティに依存しないNERシステムを構築し、少数ショットのサポート例を用いて、多様で未観測のドメインに一般化できること。
• 階層的構造やドメイン固有の分布、大規模なサポートセットに依存する従来の少ショット NER 手法の限界を克服すること。
• 特に極めて低ショット条件下で、類似ドメインおよび非類似ドメインからの知識転送を体系的かつ評価すること。

提案手法

• トレーニング不要な少ショット NER を、エンティティに依存しないスパン抽出タスクとして定式化し、問題をサポート例に基づく関連スパンの特定として扱う。
• 各クエリ入力に対して最も関連性の高いサポート例を動的に選択する、新しい文レベルのアテンションメカニズムを採用する。
• クエリトークンとサポート例トークンの間の関連性を計算するために、自己アテンションに基づくトークンレベルの類似性戦略を用いる。
• 一般化可能な表現を学習するために、大規模なオープンドメイン NER データセット（例：OntoNotes 5.0）で訓練するが、特定のエンティティタイプを記憶することなく。
• ゼロショット推論メカニズムを適用し、モデルが新しいドメインでのスパン予測を、たった少数のラベル付き例をコンテキストとして直接行う。
• アテンションメカニズムを活用して、サポート例とクエリシーケンスの相関をモデル化し、少ショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンティティタイプあたり10個のサポート例でのみ、トレーニング不要で例示ベースのNERモデルが、従来の少ショット手法を上回る性能を達成できるか？
• RQ2 トレーニング時に見なかったオフドメインエンティティに、特にターゲットドメインがソース分布から遠く離れている場合でも、モデルはどれほど一般化できるか？
• RQ3 類似ドメイン（例：SNIPS ドメイン）から、ホールドアウトされたターゲットドメインへの知識転送は、たった少数のサポート例でどの程度可能か？
• RQ4 提案されたアテンションベースの例示選択メカニズムは、単純なベースライン（例：ネイバータギング）と比較して、F1スコアおよび低ショット設定下でのロバスト性において、どの程度優れているか？
• RQ5 トレーニングおよびスコアリング戦略の違いが、トレーニング不要な少ショット NER の性能に及ぼす影響は何か？

主な発見

• ATIS データセットにおいて、エンティティタイプあたり10個のサポート例でのみ、提案手法は31.3%のF1スコアを達成し、ベースラインのネイバータギング手法と比較して30%以上の絶対的向上を示した。
• MIT Movie データセットでは、エンティティタイプあたり10個のサポート例で29.6%のF1スコアを達成し、ベースラインの4.8%と比較して一貫した向上を示した。
• 類似ドメイン（SNIPS）からの知識転送において、GetWeather ドメインで10個の例あたり78%のF1スコアを達成し、ベースラインの30%から大幅に向上した。
• 混合ドメイン評価では、エンティティタイプあたり500個のサポート例を用いても27.3%のF1スコアを維持し、ベースラインを著しく上回った。
• アブレーションスタディにより、文レベルのアテンションメカニズムと自己アテンションに基づく類似性スコアリングが、特に低ショット状況下で性能に不可欠であることが確認された。
• モデルは強力なドメインに依存しない一般化性能を示し、ファインチューニングなしで、多様でオフドメインのデータセットにおいても高い性能を維持した。