[論文レビュー] SEE-Few: Seed, Expand and Entail for Few-shot Named Entity Recognition

Zeng Yang, Linhai Zhang+1 more|arXiv (Cornell University)|Oct 11, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、ソースドメインデータを一切使用せずに動作する、少数ショット命名エンティティ認識のための新規マルチタスクフレームワーク、SEE-Fewを提案する。種まきと拡張を組み合わせて高品質な候補スパンを生成し、エンティティタイプと文脈を活用しながらテキスト entailsionヘッドを用いてスパンを分類することで、4つのベンチマークデータセットにおいて、トレーニングからスクラッチでの設定でも最先端の性能を達成した。

ABSTRACT

Few-shot named entity recognition (NER) aims at identifying named entities based on only few labeled instances. Current few-shot NER methods focus on leveraging existing datasets in the rich-resource domains which might fail in a training-from-scratch setting where no source-domain data is used. To tackle training-from-scratch setting, it is crucial to make full use of the annotation information (the boundaries and entity types). Therefore, in this paper, we propose a novel multi-task (Seed, Expand and Entail) learning framework, SEE-Few, for Few-shot NER without using source domain data. The seeding and expanding modules are responsible for providing as accurate candidate spans as possible for the entailing module. The entailing module reformulates span classification as a textual entailment task, leveraging both the contextual clues and entity type information. All the three modules share the same text encoder and are jointly learned. Experimental results on four benchmark datasets under the training-from-scratch setting show that the proposed method outperformed state-of-the-art few-shot NER methods with a large margin. Our code is available at https://github.com/unveiled-the-red-hat/SEE-Few.

研究の動機と目的

• ソースドメインデータが利用できないという挑戦的なトレーニングからスクラッチでの少数ショットNERを解決すること。
• すべてのn-gramを列挙するのではなく、種まきと拡張によって負例スパンの数を減らすことで、スパン候補の品質を向上させること。
• スパン分類をテキスト entailsion タスクに再定式化することで、エンティティタイプ情報と文脈的手がかりをより効果的に活用すること。
• 共有テキストエンコーダーを用いてすべてのモジュールを統合的に学習し、エンドツーエンド最適化を実現すること。
• アブレーションスタディーや事例分析を通じて、各モジュールの有効性を実証すること。

提案手法

• 種まきモジュールは、交差領域内フォアグラウンド（IoF）をスコア指標として用い、高品質なユニグラムおよびバイグラムを種として選択する。
• 拡張モジュールは、各種とその周囲の文脈を入力として受け取り、それを候補スパンに拡張することで、全列挙に比べて候補数を削減する。
• 帰納モジュールは、スパン分類をテキスト entailsion タスクとして扱う：前提（文）が与えられたもとで、「X は PERSON である」といった仮説を評価し、エンティティを分類する。
• 種、拡張、帰納の3つのモジュールは、単一のテキストエンコーダーを共有し、マルチタスク学習により同時に学習される。
• 種の選択にはしきい値ベースの選択を採用し、局所的文脈に基づいて動的に拡張を行う。
• モデルは、種と拡張から得られる境界情報と、帰納によるエンティティタイプの意味的知識を統合することで、少数ショット一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習重みやソースドメインデータに依存しない少数ショットNERモデルは、強力な性能を達成できるか？
• RQ2 種まきと拡張は、真のエンティティを保持しつつ、候補スパンの数をどれほど効果的に削減できるか？
• RQ3 スパン分類をテキスト entailsion タスクに再定式化することで、エンティティタイプ知識を統合することにより、性能はどの程度向上するか？
• RQ4 種まきおよび拡張段階での誤り伝搬に対して、このフレームワークはどの程度頑健か？
• RQ5 各モジュール（種、拡張、帰納）の相対的寄与度は、全体の性能にどの程度寄与しているか？

主な発見

• SEE-Fewは、4つのベンチマークデータセットにおいて、トレーニングからスクラッチでの設定でも、最先端の少数ショットNER手法を大幅に上回った。
• アブレーションスタディーの結果、帰納モジュールを削除するとF1スコアが平均で12.17%低下し、エンティティタイプと文脈情報の活用においてその重要性が裏付けられた。
• 種まきと拡張モジュールにより、候補スパンの数は平均で83.5%削減され、負例スパンの削減と効率性の向上が顕著に見られた。
• IoFの代わりにIoUを種のスコア指標に用いたバリエーションは性能が悪く、IoFが種の品質を評価するのに適した指標であることが確認された。
• モデルは、種まきおよび拡張段階での誤りに対しても頑健であった。帰納ヘッドが文脈的推論により誤分類スパンを是正できたためである。
• 全モデルは、すべてのユニグラムおよびバイグラムを評価するベースラインに比べて28.5倍高速であり、計算効率の高さが示された。