[論文レビュー] Prompt-based Zero-shot Relation Extraction with Semantic Knowledge Augmentation

Jiaying Gong, Hoda Eldardiry|arXiv (Cornell University)|Dec 8, 2021

Topic Modeling被引用数 6

ひとこと要約

本稿では、ラベルなし学習データが存在しない未発見の関係を認識できる、意味的知識拡張を活用したプロンプトベースのゼロショット関係抽出モデル、ZS-SKAを提案する。語の類似性に基づく翻訳ルールを用いて合成された学習インスタンスを生成し、知識グラフを用いて重み付き仮想ラベルプロンプトを構築することで、ZS-SKAはゼロショット関係トリプル抽出性能を向上させ、FewRel、Wiki-ZSL、NYTデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

In relation triplet extraction (RTE), recognizing unseen relations for which there are no training instances is a challenging task. Efforts have been made to recognize unseen relations based on question-answering models or relation descriptions. However, these approaches miss the semantic information about connections between seen and unseen relations. In this paper, We propose a prompt-based model with semantic knowledge augmentation (ZS-SKA) to recognize unseen relations under the zero-shot setting. We present a new word-level analogy-based sentence translation rule and generate augmented instances with unseen relations from instances with seen relations using that new rule. We design prompts with weighted virtual label construction based on an external knowledge graph to integrate semantic knowledge information learned from seen relations. Instead of using the actual label sets in the prompt template, we construct weighted virtual label words. We learn the representations of both seen and unseen relations with augmented instances and prompts. We then calculate the distance between the generated representations using prototypical networks to predict unseen relations. Extensive experiments conducted on three public datasets FewRel, Wiki-ZSL, and NYT, show that ZS-SKA outperforms other methods under zero-shot setting. Results also demonstrate the effectiveness and robustness of ZS-SKA.

研究の動機と目的

• 未発見の関係にラベル付き学習インスタンスが存在しないゼロショット関係トリプル抽出の課題に対処すること。
• 外部の知識グラフからの意味的知識をプロンプト設計に統合することで、ゼロショット関係抽出を向上させること。
• 新しい語の文の翻訳ルールを用いて、未発見の関係用に高品質な合成学習データを生成すること。
• 知識グラフ埋め込みから導出された重み付き仮想ラベルを用いた、堅牢なプロンプト構築メカニズムの開発。
• データ拡張、意味的プロンプティング、およびプロトタイプネットワーク分類を組み合わせることで、エンドツーエンドのゼロショット関係トリプル抽出を実現すること。

提案手法

• 語レベルの類似性に基づく文の翻訳ルールを用いて、既存の関係インスタンスから未発見の関係を含む拡張学習インスタンスを生成する。
• 知識グラフを活用して各関係の意味的に関連する語を特定し、それらをプロンプトテンプレート内の重み付き仮想ラベル語として構築する。
• 真の関係からの意味的類似度に基づいて、関係のないかあるいはノイズの多い語をフィルタリングする距離ベースのノイズ除去機構を用いて仮想ラベル語を精錬する。
• 実際の関係ラベルの代わりに重み付き仮想ラベルを用いてプロンプトを構築することで、モデルが未発見の関係に一般化可能になるようにする。
• 各関係クラスのプロトタイプ埋め込みを計算するためにプロトタイプネットワークを用い、クエリ文の埋め込みとプロトタイプ間のユークリッド距離を分類に用いる。
• 名前付きエンティティ認識器を適用してエンティティタイプを抽出し、それらをプロンプトテンプレートからのスーパークラス制約に基づいてフィルタリング・マッチングする。

実験結果

リサーチクエスチョン

• RQ1 意味的知識拡張により、未発見の関係用に合成学習データを生成することで、ゼロショット関係トリプル抽出の性能向上が図れるか？
• RQ2 知識グラフに基づく仮想ラベル構築メカニズムは、ノイズを低減し、未発見の関係への一般化を向上させるのにどの程度有効か？
• RQ3 プロンプトテンプレートに重み付き仮想ラベルを使用することで、直接ラベルを使用する場合と比較して、ゼロショット関係抽出の性能が向上するか？
• RQ4 データ拡張と意味的プロンプティングの統合は、多様なデータセットにおけるゼロショット関係トリプル抽出の耐性および正確性にどのように影響を与えるか？
• RQ5 ノイズが多いデータセットとクリーンなデータセットにおいて、ノイズ除去閾値と仮想ラベル数の最適なハイパーパramータ設定は何か？

主な発見

• ZS-SKAは、ゼロショット関係トリプル抽出設定下で、FewRel、Wiki-ZSL、NYTの3つの公開ベンチマークで最先端の性能を達成した。
• ラベル付き学習データが全く存在しない未発見の関係に対しても、既存のSOTA手法を上回る性能を示し、優れた一般化能力を示した。
• 仮想ラベル構築におけるノイズ除去機構は、知識グラフからの関係のない語を効果的にフィルタリングし、プロンプト品質とモデルの耐性を向上させた。
• すべてのデータセットで、閾値τsが0.5から0.6の範囲で最適な性能が得られ、ノイズ低減と意味的カバレッジのバランスが取れた。
• 仮想ラベル語の数（n）を増やすことで、より多くの意味的知識を統合でき、クエリ埋め込みと関係プロトタイプ間の距離が短くなるため、性能が向上した。
• ノイズの多いデータセット（例：NYT）において、特に高い性能向上が見られたことから、ノイズ除去および知識統合コンponentが現実世界の不完全なデータ環境において特に有効であることが示された。