[論文レビュー] RelationPrompt: Leveraging Prompts to Generate Synthetic Data for Zero-Shot Relation Triplet Extraction

Yew Ken Chia, Lidong Bing+2 more|arXiv (Cornell University)|Mar 17, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、未学習の関係タイプに対して全（主語、関係、目的語）トリプレットを抽出することを要する、新規のタスクであるゼロショット関係トリプレット抽出（ZeroRTE）を紹介する。本稿では、関係ラベルに条件付けられた構造化されたプロンプトテンプレートを用いて、大規模言語モデル（LLM）が合成学習データを生成する関係プロンプト（RelationPrompt）を提案する。また、1文から複数のトリプレットを抽出するためのトリプレット探索デコード（Triplet Search Decoding）を導入し、FewRelおよびWiki-ZSLで最先端の性能を達成した。

ABSTRACT

Despite the importance of relation extraction in building and representing knowledge, less research is focused on generalizing to unseen relations types. We introduce the task setting of Zero-Shot Relation Triplet Extraction (ZeroRTE) to encourage further research in low-resource relation extraction methods. Given an input sentence, each extracted triplet consists of the head entity, relation label, and tail entity where the relation label is not seen at the training stage. To solve ZeroRTE, we propose to synthesize relation examples by prompting language models to generate structured texts. Concretely, we unify language model prompts and structured text approaches to design a structured prompt template for generating synthetic relation samples when conditioning on relation label prompts (RelationPrompt). To overcome the limitation for extracting multiple relation triplets in a sentence, we design a novel Triplet Search Decoding method. Experiments on FewRel and Wiki-ZSL datasets show the efficacy of RelationPrompt for the ZeroRTE task and zero-shot relation classification. Our code and data are available at github.com/declare-lab/RelationPrompt.

研究の動機と目的

• テスト時の関係タイプに対して学習例が一切存在しない状況における、完全なトリプレット予測のためのゼロショット関係抽出に関する研究の不足に対処すること。
• 未学習の関係タイプのための合成学習データを生成することで、低リソースな関係抽出におけるデータ不足を克服すること。
• これらの関係タイプのアノテート済み学習例が不要な状態で、未学習の関係に一般化できる手法を開発すること。
• ゼロショット設定下で、1文から複数の関係トリプレットを効果的かつ解釈可能に抽出すること。

提案手法

• 関係ラベルプロンプトと言語モデルの生成を組み合わせた構造化されたプロンプトテンプレートを設計し、合成された関係トリプレット例を生成する。
• 言語モデルを関係ラベルに条件付け、主語および目的語を含む文脈的に整合性のある構造化された文を生成する。
• 1つの入力文から複数の関係トリプレットを段階的に特定・抽出する、トリプレット探索デコード（Triplet Search Decoding）という手法を導入する。
• 生成された合成データ上で関係抽出器を微調整し、未学習の関係タイプに対してゼロショット推論を実行する。
• 大規模な事前学習済み言語モデルを活用し、多様で現実的なかつての合成サンプルを生成するための意味的・事実的知識を活用する。
• 性能とノイズの多いデータによる過学習のリスクの両立を考慮し、合成サンプルの数（例：1000）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 言語モデルは、関係トリプレット抽出の文脈において、未学習の関係タイプのための高品質で構造化された合成データを生成できるか？
• RQ2 提案されたRelationPromptフレームワークは、未学習の関係タイプへのゼロショット一般化をどの程度効果的に可能にするか？
• RQ3 トリプレット探索デコード手法は、ゼロショット設定下で1文から複数の関係トリプレットを信頼性高く抽出できるか？
• RQ4 性能と過学習の回避の両立を考慮した場合、合成データの最適スケールは何か？
• RQ5 本モデルの一般化能力は、既存のゼロショット関係分類ベースラインと比較してどの程度優れているか？

主な発見

• RelationPromptは、ZeroRTEベンチマークにおいて、先行するゼロショット関係分類手法を顕著に上回り、強力なゼロショット一般化を示した。
• FewRelおよびWiki-ZSLデータセットでも最先端の性能を達成し、低リソースな関係抽出における有効性を裏付けた。
• 1関係あたり約1000件の合成サンプルを生成すると最適な性能が得られ、より大きな数ではノイズの影響により過学習が生じることがわかった。
• 定性的な分析から、生成器は大多数の関係に対して文脈的に妥当な文を生成しているが、特定の意味的関係ではエンティティと関係の整合性が一貫しない場合があることが明らかになった。
• トリプレット探索デコード手法は、1文から複数のトリプレットを効果的に抽出でき、耐障害性と解釈可能性の両方を向上させた。
• 「投資家」、「敗北された相手」、「通貨単位」などの実世界の関係に対しても、本アプローチは良好な一般化を示し、生成データの強い意味的根拠を示している。