[論文レビュー] TKDP: Threefold Knowledge-enriched Deep Prompt Tuning for Few-shot Named Entity Recognition

Jiang Liu, Hao Fei+6 more|arXiv (Cornell University)|Jun 6, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、少数の例からの名前付きエンティティ認識（few-shot NER）のための、三重の知識強化型ディーププロンプトチューニングフレームワークであるTKDPを提案する。このフレームワークは、意味素（sememe）、ラベル、文脈知識をソフトプロンプト埋め込みに統合する。事前学習言語モデルの複数層に知識強化型プロンプトを挿入することで、ベースラインのプロンプトチューニングに比べ最大11.53%高いF1スコアを達成し、5-, 10-, 20ショット設定の5つのデータセットにおいて8つの強力なベースラインを著しく上回る性能を示した。

ABSTRACT

Few-shot named entity recognition (NER) exploits limited annotated instances to identify named mentions. Effectively transferring the internal or external resources thus becomes the key to few-shot NER. While the existing prompt tuning methods have shown remarkable few-shot performances, they still fail to make full use of knowledge. In this work, we investigate the integration of rich knowledge to prompt tuning for stronger few-shot NER. We propose incorporating the deep prompt tuning framework with threefold knowledge (namely TKDP), including the internal 1) context knowledge and the external 2) label knowledge & 3) sememe knowledge. TKDP encodes the three feature sources and incorporates them into the soft prompt embeddings, which are further injected into an existing pre-trained language model to facilitate predictions. On five benchmark datasets, our knowledge-enriched model boosts by at most 11.53% F1 over the raw deep prompt method, and significantly outperforms 8 strong-performing baseline systems in 5-/10-/20-shot settings, showing great potential in few-shot NER. Our TKDP can be broadly adapted to other few-shot tasks without effort.

研究の動機と目的

• 既存のプロンプトチューニング手法が少数の例からのNERにおいて内部的・外部的知識を十分に活用していないという限界を是正すること。
• 意味素、ラベル、文脈といった複数の知識源を統合することで、少数の例からのNER性能がどのように向上するかを調査すること。
• 限られたラベル付きデータで一般化性能を高めるために、ソフトプロンプト埋め込みに3種類の知識を効果的に統合するディーププロンプトチューニングフレームワークを開発すること。
• 提案手法の有効性と広範な適応可能性を、多様な少数の例からのNERベンチマークにおいて実証すること。

提案手法

• TKDPは、HowNetからの意味素知識、ラベル記述、文脈文の特徴をプロンプトチューニングフレームワークに統合する三重の知識を組み込む。
• 意味素埋め込みを入力表現およびラベル表現の両方に挿入することで、テキストおよびラベル表現を強化し、より豊かな意味的表現を実現する。
• 強化された表現から知識強化型ソフトプロンプト埋め込みを生成し、事前学習言語モデル（PLM）の複数層に挿入する。
• マルチレイヤー挿入戦略を採用し、プロンプト埋め込みをPLMの異なる深さに挿入することで、文脈表現との深い相互作用を可能にする。
• BIO系列ラベル付けの最適化を目的としてエンドツーエンドで学習し、アテンションメカニズムにより関連する知識強化型プロンプトトークンに注目できるようにする。
• アブレーションスタディにより、各知識タイプの寄与度およびプロンプトの深さと長さのハイパーパrameterの有効性が確認された。

実験結果

リサーチクエスチョン

• RQ1 ソフトプロンプトに意味素、ラベル、文脈知識を統合することで、少数の例からのNER性能が著しく向上するか？
• RQ2 プロンプトの深さと長さは、少数の例からのNERにおけるモデル性能にどのように影響するか？
• RQ3 知識強化型プロンプトチューニングは、標準的なディーププロンプトチューニングや他のプロンプトベースのベースラインに比べ、リソースが限られた環境で優れているか？
• RQ4 推論時におけるPLMのアテンションメカニズムは、知識拡張型プロンプトトークンとどのように相互作用するか？

主な発見

• TKDPは、すべての5つのベンチマークデータセットにおいて、知識統合を行わない原始的なディーププロンプトチューニング手法に比べ、最大11.53%高いF1スコアを達成した。
• 5-, 10-, 20ショット設定において、プロンプトチューニング、p-tuning、prefix-tuning、および離散テンプレートベース手法を含む8つの強力なベースラインシステムを著しく上回った。
• アブレーションスタディにより、意味素、ラベル、文脈という3つの知識タイプが、それぞれ独立してかつ相乗的に性能向上に寄与していることが確認された。
• プロンプトの深さが増すほどモデルの性能が向上し、12層で最適な結果が得られた。これは、より深い統合が知識の活用を促進することを示している。
• プロンプト長は一部のデータセット（例：WNUT-2017 および JNLPBA）においてより顕著な効果を示し、より長いプロンプトが優れた結果をもたらした。これは、知識のインジェクションに大きな容量があることを示唆している。
• アテンション可視化の結果、知識強化型プロンプトは、エンティティの表記（例："Jim Courier" や "U.S."）といった関連する入力トークンにより効果的に注目しており、これが正しい予測に寄与していることがわかった。