[論文レビュー] Zero-Shot Learning in Named-Entity Recognition with External Knowledge

Nguyen Van Hoang, Soeren Hougaard Mulvad+2 more|arXiv (Cornell University)|Nov 15, 2021

Topic Modeling参考文献 7被引用数 6

ひとこと要約

本論文は、事前学習済みの単語埋め込み（GloVe、ConceptNet Numberbatch）とLUKEからの文脈的表現を活用し、ターゲットドメインでの微調整を必要とせずに、ゼロショットおよびフェイントショット named-entity recognition（NER）を実現するZEROというモデルを提案する。ゼロショット学習では平均マクロF1が0.23を達成し、フェイントショット設定ではLUKEを著しく上回る性能を示す。性能は、ソースドメインとターゲットドメイン間のKLダイバージェンスと逆相関している。

ABSTRACT

A significant shortcoming of current state-of-the-art (SOTA) named-entity recognition (NER) systems is their lack of generalization to unseen domains, which poses a major problem since obtaining labeled data for NER in a new domain is expensive and time-consuming. We propose ZERO, a model that performs zero-shot and few-shot learning in NER to generalize to unseen domains by incorporating pre-existing knowledge in the form of semantic word embeddings. ZERO first obtains contextualized word representations of input sentences using the model LUKE, reduces their dimensionality, and compares them directly with the embeddings of the external knowledge, allowing ZERO to be trained to recognize unseen output entities. We find that ZERO performs well on unseen NER domains with an average macro F1 score of 0.23, outperforms LUKE in few-shot learning, and even achieves competitive scores on an in-domain comparison. The performance across source-target domain pairs is shown to be inversely correlated with the pairs' KL divergence.

研究の動機と目的

• 高コストなラベル付けのため、NERモデルの未学習ドメインへの一般化性能が低いという課題に対処すること。
• ターゲットドメインでのラベル付きデータが一切不要なゼロショットおよびフェイントショット学習を可能にすること。
• 単語埋め込みを介して外部の意味的知識を統合することで、クロスドメインNERの性能を向上させること。
• ドメインの類似度（KLダイバージェンスで測定）がゼロショット転移性能に与える影響を評価すること。
• 低リソース環境や新規ドメインにおけるNERの微調整の代替手段として実用的であるモデルを提供すること。

提案手法

• モデルは入力トークンおよびエンティティの文脈的表現をLUKEにより生成する。
• 各トークンの表現を、外部知識（GloVe もしくは ConceptNet Numberbatch）から事前学習されたラベル埋め込みとのドット積を用いてラベル空間にマッピングする。
• 最終的な予測は、トークン表現とラベル埋め込みの間で最大のドット積スコアを示すラベルである。
• 外部埋め込みとの比較の前に、LUKEの出力表現に対して次元削減を適用する。
• ソース・ターゲットドメイン間の転移ペアにおけるマクロF1スコアを用いて性能を評価する。
• ドメイン分布間のKLダイバージェンスを計算し、モデル性能と相関させて転移可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きトレーニング例が一切ない状況でも、NERモデルが未学習ドメインで競争力のある性能を達成できるか？
• RQ2 外部知識（単語埋め込み）の統合が、ゼロショットおよびフェイントショットNER性能にどのように寄与するか？
• RQ3 KLダイバージェンスで測定されるドメイン類似度は、ゼロショットNER転移の成功をどの程度予測できるか？
• RQ4 限られたターゲットドメインデータを用いたフェイントショット学習シナリオにおいて、ZEROはLUKEに比べてどの程度優れているか？
• RQ5 モデルは、LUKEのような教師ありベースラインと同等のインドメイン性能を達成できるか？

主な発見

• 未学習ドメインにおいて、ZEROは平均マクロF1スコア0.2323を達成し、ラベルデータなしでも実現可能性を示した。
• フェイントショット学習では、ZEROはLUKEを著しく上回り、エンティティ1例あたり1つのラベル例でのマクロF1が0.5507に達したのに対し、LUKEは0.0であった。
• クロスドメイン転移性能は、ソースドメインとターゲットドメイン間のKLダイバージェンスと逆相関しており、決定係数R²は0.19であった。
• インドメイン評価では、ZEROは競争力のある結果を示し、音楽ドメインを除き、AI、文学、科学ドメインではLUKEと同等の性能を達成した。
• モデルはフェイントショット一般化に優れており、ラベル1例あたりのスコアでゼロショット性能から0.2766 F1ポイント向上した。
• 有望な結果が得られたものの、患者ノートの脱識別化などハイリスクな応用では、F1スコアが低いため、性能に限界がある。