[論文レビュー] Few-shot Named Entity Recognition with Entity-level Prototypical Network Enhanced by Dispersedly Distributed Prototypes

Bin Ji, Shasha Li+4 more|arXiv (Cornell University)|Aug 17, 2022

Topic Modeling被引用数 16

ひとこと要約

本論文は、ラベル依存性に依存しないようにするために、トークンレベルのプロトタイプではなくエンティティレベルのプロトタイプを使用する、少数ショット命名エンティティ認識モデルEP-Netを提案する。距離ベースの損失を用いて事前学習からプロトタイプを学習し、分散した分布を確保するとともに、空間射影ネットワークを介してスパンをプロトタイプにアライメントすることで、EP-NetはFew-NERDおよびドメイン転送ベンチマークで最先端の性能を達成し、アブレーションスタディでは最大9.6%のF1スコア向上を達成した。

ABSTRACT

Few-shot named entity recognition (NER) enables us to build a NER system for a new domain using very few labeled examples. However, existing prototypical networks for this task suffer from roughly estimated label dependency and closely distributed prototypes, thus often causing misclassifications. To address the above issues, we propose EP-Net, an Entity-level Prototypical Network enhanced by dispersedly distributed prototypes. EP-Net builds entity-level prototypes and considers text spans to be candidate entities, so it no longer requires the label dependency. In addition, EP-Net trains the prototypes from scratch to distribute them dispersedly and aligns spans to prototypes in the embedding space using a space projection. Experimental results on two evaluation tasks and the Few-NERD settings demonstrate that EP-Net consistently outperforms the previous strong models in terms of overall performance. Extensive analyses further validate the effectiveness of EP-Net.

研究の動機と目的

• 少々のラベルデータによる不十分さから生じるラベル遷移確率の粗い推定に起因する、従来のプロトタイプネットワークの限界を是正すること。
• 埋め込み空間内で密にクラスタリングされたプロトタイプが誤分類を引き起こす問題を克服すること。
• トークンレベルからエンティティレベルへのプロトタイプ学習への移行により、ラベル依存性の必要性を排除すること。
• 分類のロバスト性を向上させるために、明示的な分散性を考慮してプロトタイプを事前学習から訓練する手法を開発すること。
• 深層ニューラルネットワークの射影層を用いてスパン表現とプロトタイプ埋め込みの間のアライメントを保証すること。

提案手法

• EP-Netは、ラベル遷移依存性を必要とせず、スパンを直接エンティティとして分類できるように、トークンレベルのプロトタイプではなくエンティティレベルのプロトタイプを構築する。
• プロトタイプは、埋め込み空間における分散分布を強制するために距離ベースの損失 $\mathcal{L}_d$ を用いて、事前学習から訓練する。
• スパン表現は、スパンとプロトタイプ間のアライメントバイアスを排除するために、深層ニューラルネットワークを介してプロトタイプ埋め込み空間にマッピングされる。
• モデルは、スパン表現とプロトタイプ間の類似度をユークリッド距離で測定するが、アブレーションスタディではコサイン類似度を上回る性能を示した。
• 空間射影機構により、スパンとプロトタイプが同じ埋め込み空間にアライメントされ、類似度マッチングの正確性が向上する。
• モデルはFew-NERD、タグセット拡張、ドメイン転送タスクにおいて1ショット設定で評価され、各コンポonentの有効性をアブレーションスタディで検証した。

実験結果

リサーチクエスチョン

• RQ1 エンティティレベルのプロトタイプは、ラベル遷移確率が粗く推定される状況下でも、少数ショットNERにおけるラベル依存性の必要性を排除できるか？
• RQ2 分散損失を用いて事前学習からプロトタイプを訓練することで、より良いプロトタイプ分布が得られ、誤分類が減少するか？
• RQ3 射影ネットワークを介したスパン表現とプロトタイプ埋め込みのアライメントは、分類性能にどのように影響するか？
• RQ4 提案されたフレームワークにおいて、ユークリッド距離とコサイン類似度を用いたスパン-プロトタイプマッチングの影響は何か？
• RQ5 EP-Netの個々のコンポーネント（エンティティレベルのプロトタイプ、プロトタイプ訓練、距離メトリック）は、全体の性能向上にどの程度寄与しているか？

主な発見

• EP-Netは、1ショットGroup A実験において、従来のプロトタイプを用いたベースラインモデルCP-NetよりもF1スコアで9.6%の絶対的向上を達成し、分散配置されたプロトタイプの有効性を検証した。
• t-SNE可視化では、EP-Netが同じエンティティタイプのスパン表現をクラスタリングし、異なるクラスを明確に分離していることが示され、より良い意思決定境界学習が行われていることが示唆された。
• アブレーションスタディでは、エンティティレベルのプロトタイプを削除するとF1スコアが5.1–7.2%低下し、ラベル依存性の排除におけるその重要性が確認された。
• プロトタイプ訓練損失 $\mathcal{L}_d$ を削除すると、F1スコアが5.8–11.8%低下し、分散したプロトタイプ分布が性能にとって不可欠であることが示された。
• 類似度測定にユークリッド距離を用いることで、コサイン類似度を上回る結果が得られ、複数の設定でF1スコアが4.0–5.0%向上した。
• ヒートマップ可視化により、EP-Netのプロトタイプが従来のプロトタイプよりも広く分散されており、「None」クラスからも明確に分離されていることが確認され、混同が減少した。