[論文レビュー] Sequence Generation with Label Augmentation for Relation Extraction

Bo Li, Dingyao Yu+3 more|arXiv (Cornell University)|Dec 29, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、関係ラベルの意味的に関連する類義語や同義語を自動生成することで、性能を向上させるseq2seqモデルであるRELAを提案する。GPT-2と類義語辞書を用いて関係ラベルを拡張することで、低リソースおよびドメイン特化した設定においてもモデルの汎化性能が向上し、4つのベンチマークデータセットで最先端の結果を達成した。

ABSTRACT

Sequence generation demonstrates promising performance in recent information extraction efforts, by incorporating large-scale pre-trained Seq2Seq models. This paper investigates the merits of employing sequence generation in relation extraction, finding that with relation names or synonyms as generation targets, their textual semantics and the correlation (in terms of word sequence pattern) among them affect model performance. We then propose Relation Extraction with Label Augmentation (RELA), a Seq2Seq model with automatic label augmentation for RE. By saying label augmentation, we mean prod semantically synonyms for each relation name as the generation target. Besides, we present an in-depth analysis of the Seq2Seq model's behavior when dealing with RE. Experimental results show that RELA achieves competitive results compared with previous methods on four RE datasets.

研究の動機と目的

• 関係ラベルの意味的性質および構造的パターンがseq2seqモデルの関係抽出性能に与える影響を調査すること。
• 意味的に関連するバリエーションで関係ラベルを豊かにすることで、モデルの汎化性能を向上させるという未だ十分に検討されていない可能性を解決すること。
• BARTのデコード動作が、関係抽出タスクと標準的な生成タスク（例：要約）との間で、特に注意メカニズムおよび隠れ状態表現の観点からどのように異なるかを分析すること。
• 多様なREデータセット、特に低リソース状況において性能を向上させるシンプルでありながら効果的なラベル増強戦略の開発および評価すること。

提案手法

• GPT-2を用いて、元の関係ラベルとプレフィックスフレーズをプロンプトとして入力し、言い換え表現を生成することで関係ラベルを増強する。
• GPT-2に直接質問プロンプトを用いて、文脈を与えられた関連する関係用語を要求し、代替の関係ラベルを生成する。
• 市販の辞書から類義語を取得し、各関係ラベルに意味的に同等の用語を追加する。
• seq2seqフレームワークを用いて、拡張された関係ラベルをターゲットとして、BART-largeモデルを微調整する。
• 各訓練インスタンスに複数の類義語または言い換え表現を含めることで、データ増強を行い、ラベル空間を豊かにする。
• デコーダーの隠れ状態および注意パターンを可視化・分析し、関係抽出タスクと標準的な生成タスクとの間でのモデル行動の違いを理解する。

実験結果

リサーチクエスチョン

• RQ1 関係ラベルにおける意味的および構造的相関が、seq2seqモデルの関係抽出性能にどのように影響を与えるか？
• RQ2 言い換え表現および類義語を用いた自動ラベル増強が、seq2seqベースの関係抽出モデルの汎化性能を顕著に向上させることができるか？
• RQ3 BARTモデルのデコード動作は、要約などの標準的なテキスト生成タスクと比較して、関係抽出タスクにおいてどのように異なるか？
• RQ4 ラベル増強は、モデルのデコーダー隠れ状態におけるより分離可能で情報量の多い表現をもたらすか？

主な発見

• 正しい関係ラベルを直接生成するとF1スコアが最も高くなるが、意味のないまたはランダムなラベルを使用すると著しく性能が低下し、ラベルの意味的性質が極めて重要であることが確認された。
• 類義語および言い換え表現によるラベル増強は、特に低リソースおよびドメイン特化したデータセットにおいて顕著な性能向上をもたらし、4つのベンチマークデータセットすべてで改善が観察された。
• BARTは関係抽出タスクにおいて特徴的なデコード動作を示す：<bos>トークンに強く依存しており、過去のデコーダー出力をほとんど無視する。これは要約タスクとは異なる。
• コサイン類似度分析の結果、RELAにおけるデコーダー隠れ状態は、標準的なBART-REと比較して、異なる関係タイプ間でより分離可能であることが示された。これはより良い学習済み表現を示している。
• 主成分分析（PCA）の可視化により、RELAは潜在空間において異なる関係名のクラスタがより明確に分離されていることが確認された。これは、意味的曖昧性の解消が向上したことを示唆している。
• BART-REの全体的な交差エントロピーは低く、表現間に高い意味的相関があることを示しているが、ラベル増強によりこの相関が緩和され、より多様で情報量の多い潜在状態が得られた。