[論文レビュー] AdaPrompt: Adaptive Prompt-based Finetuning for Relation Extraction

Xiang Chen, Xin Xie+7 more|arXiv (Cornell University)|Apr 15, 2021

Topic Modeling参考文献 13被引用数 35

ひとこと要約

AdaPromptは、関係抽出をマスキング言語モデル化のタスクに再定式化することで、可変長のラベルトークンを動的に選択し、文脈表現の向上を図るためのアダプティブプロンプトベースの微調整手法を提案する。さらに補助的エンティティ識別器を統合し、ベンチマークデータセットにおける少サンプルおよび教師あり設定の両方で最先端の性能を達成した。

ABSTRACT

In this paper, we reformulate the relation extraction task as mask language modeling and propose a novel adaptive prompt-based finetuning approach. We propose an adaptive label words selection mechanism that scatters the relation label into variable number of label tokens to handle the complex multiple label space. We further introduce an auxiliary entity discriminator object to encourage the model to focus on context representation learning. Extensive experiments on benchmark datasets demonstrate that our approach can achieve better performance on both the few-shot and supervised setting.

研究の動機と目的

• 関係抽出における複雑で多様なラベル空間の課題に対処し、柔軟で適応可能なラベル表現を可能にする。
• 補助的エンティティ識別器を用いることで、関係抽出モデルにおける文脈表現学習を向上させる。
• ラベルの複雑さに応じてプロンプト設計を適応させることで、リソースが限られた（少サンプルの）状況におけるモデルの汎化性能を向上させる。
• プロンプトベースの微調整をマスキング言語モデル化と統合し、事前学習済み言語モデルのインダクティブバイアスとより良く整合させる。

提案手法

• 入力シーケンスの周囲に学習可能なプロンプトトークンを挿入することで、関係抽出をマスキング言語モデル化タスクに再定式化する。
• ラベルの複雑さに応じて各関係ラベルを可変長のトークン列にマッピングする、アダプティブラベルワード選択メカニズムを導入する。
• モデルがエンティティメンションおよびその周囲の文脈により効果的に注目するよう促すために、補助的エンティティ識別器損失を採用する。
• マスキング言語モデル化損失とエンティティ識別器損失の組み合わせを用いて、エンドツーエンドでモデルを訓練する。
• プロンプト埋め込みとラベルワード埋め込みを微調整中に共同最適化するため、事前学習済み言語モデル（例：BERT）をバックボーンとして用いる。
• 固定長のプロンプト設計よりも、長尾や複数トークンからなる関係ラベルをより効果的に扱えるように、動的ラベルトークン化を適用する。

実験結果

リサーチクエスチョン

• RQ1 固定長のプロンプト設計と比較して、アダプティブで可変長のラベルトークンは関係抽出の性能向上に寄与するか？
• RQ2 補助的エンティティ識別器を導入することで、プロンプトベースの微調整における文脈表現学習にどのような影響を与えるか？
• RQ3 AdaPromptはどの程度少サンプル関係抽出設定に汎化するか？
• RQ4 マスキング言語モデル化とアダプティブプロンプトチューニングの組み合わせは、事前学習モデルのインダクティブバイアスとより良く整合するか？

主な発見

• AdaPromptは、少サンプルおよび教師あり関係抽出設定の両方で、標準ベンチマークデータセットにおいて最先端の性能を達成した。
• アダプティブラベルワード選択メカニズムは、ラベルの複雑さに応じて各ラベルのトークン数を動的に調整することで、複雑で複数トークンからなる関係ラベルを効果的に処理できた。
• 補助的エンティティ識別器は、予測時に関連する文脈およびエンティティスパンに注目する能力を著しく向上させた。
• 本手法はリソースが限られた状況でも強く汎化し、少サンプル評価プロトコルにおいてベースラインを上回った。