[論文レビュー] LabelPrompt: Effective Prompt-based Learning for Relation Classification

Wenjie Zhang, Xiaoning Song+3 more|arXiv (Cornell University)|Feb 16, 2023

Topic Modeling被引用数 7

ひとこと要約

LabelPrompt はラベルトークンとエンティティ認識型注意戦略を備えたフレームワークで、特にFew-shot 設定におけるプロンプトベースの関係分類を改善します。

ABSTRACT

Recently, prompt-based learning has gained popularity across many natural language processing (NLP) tasks by reformulating them into a cloze-style format to better align pre-trained language models (PLMs) with downstream tasks. However, applying this approach to relation classification poses unique challenges. Specifically, associating natural language words that fill the masked token with semantic relation labels ( extit{e.g.} extit{``org:founded\_by}'') is difficult. To address this challenge, this paper presents a novel prompt-based learning method, namely LabelPrompt, for the relation classification task. Motivated by the intuition to ``GIVE MODEL CHOICES!'', we first define additional tokens to represent relation labels, which regard these tokens as the verbaliser with semantic initialisation and explicitly construct them with a prompt template method. Then, to mitigate inconsistency between predicted relations and given entities, we implement an entity-aware module with contrastive learning. Last, we conduct an attention query strategy within the self-attention layer to differentiates prompt tokens and sequence tokens. Together, these strategies enhance the adaptability of prompt-based learning, especially when only small labelled datasets is available. Comprehensive experiments on benchmark datasets demonstrate the superiority of our method, particularly in the few-shot scenario.

研究の動機と目的

• 事前学習の目的と関係分類タスク間のギャップを埋める。
• 単一語彙項目を超える複雑な関係ラベルに対応するため、プロンプトベース学習を有効化する。
• 与えられたエンティティと予測関係のずれをエンティティ認識モジュールで緩和する。
• プロンプトトークンと文サンプルトークンを区別して文の意味を保持しつつラベルプロンプトを活用する。
• 標準 RC ベンチマークでFew-shotおよび全データ設定の高い性能向上を示す。

提案手法

• 語彙を関係ラベルトークンで拡張し、セマンティックラベルテキストから初期化する。
• 入力に主語・目的語エンティティと共にラベルトークンを直接挿入するプロンプトテンプレートを使用する。
• モデルヘッド内のラベルトークンの意味的意味付けを強化する関係アラインモジュールを導入する。
• エンティティ-関係三つ組に対してコントラスト損失を用いるエンティティ認識モジュールを追加し、予測をエンティティ文脈に grounding する。
• 自己注意においてプロンプト–プロンプト、プロンプト–文、文–プロンプト、文–文の相互作用に対して別個のクエリ写像を用いる注意クエリ戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ラベルトークンとプロンプトテンプレートをどのように設計すれば、マスク出力を複雑な関係ラベルへより良く対応付けられるか？
• RQ2 エンティティ認識型の対比学習信号は特定のエンティティ対間の関係理解を改善できるか？
• RQ3 プロンプトトークンと文トークンを注意機構で差別化することは、特にデータ不足時に RC の性能を改善するか？
• RQ4 標準ベンチマークにおける LabelPrompt のファインチューニングや既存のプロンプトベース RC 手法と比較した効果はどの程度か？

主な発見

k-shot（k）	Method	TACRED	TACREV	ReTACRED	SemEval
8	ファインチューニング	12.2	13.5	28.5	41.3
8	GDPNet	11.8	12.3	29.0	42.0
8	PTR	28.1	28.7	51.5	70.5
8	KnowPrompt	32.0	32.1	55.3	74.3
8	LabelPrompt	33.9	34.8	61.5	77.0
16	ファインチューニング	21.5	22.3	49.5	65.2
16	GDPNet	22.5	23.8	50.0	67.5
16	PTR	30.7	31.4	56.2	81.3
16	KnowPrompt	35.4	33.1	63.3	82.9
16	LabelPrompt	34.4	35.4	64.5	81.7
32	ファインチューニング	28.0	28.2	56.0	80.1
32	GDPNet	28.8	29.1	56.5	81.2
32	PTR	32.1	32.4	62.1	84.2
32	KnowPrompt	36.5	34.7	65.0	84.8
32	LabelPrompt	35.4	36.8	66.7	84.6

• LabelPrompt は TACRED、TACREV、ReTACRED、SemEval の少数ショット設定でマイクロ F1 がベースラインより高い。
• 8-shot、16-shot、32-shot のシナリオで、LabelPrompt は従来のプロンプトベース手法を上回り、複数データセットでファインチューニング基準を上回ることがある。
• 少数ショットおよび全データ評価で KnowPrompt および PTR に対して一貫して性能を向上させる。
• 追加データなしの全データ設定で、LabelPrompt は TACRED で 73.1、TACREV で 82.5、ReTACRED で 91.6、SemEval で 91.3 を達成し、複数のベースラインを上回る。