[論文レビュー] A Hierarchical Framework for Relation Extraction with Reinforcement Learning

Ryuichi Takanobu, Tianyang Zhang+2 more|arXiv (Cornell University)|Nov 9, 2018

Topic Modeling参考文献 26被引用数 16

ひとこと要約

この論文は、関係の引数としてエンティティを扱い、関係検出とエンティティ抽出の2段階に分解することで、重複する関係を扱うための階層的強化学習（HRL）フレームワークを提案する。関係タイプとエンティティの表記の間の相互作用を、順序付きでポリシー駆動の部分タスクによってモデル化することで、重複関係において最先端の性能を達成し、NYT11-plusで関係検出において4.9%のF1向上を達成した。

ABSTRACT

Most existing methods determine relation types only after all the entities have been recognized, thus the interaction between relation types and entity mentions is not fully modeled. This paper presents a novel paradigm to deal with relation extraction by regarding the related entities as the arguments of a relation. We apply a hierarchical reinforcement learning (HRL) framework in this paradigm to enhance the interaction between entity mentions and relation types. The whole extraction process is decomposed into a hierarchy of two-level RL policies for relation detection and entity extraction respectively, so that it is more feasible and natural to deal with overlapping relations. Our model was evaluated on public datasets collected via distant supervision, and results show that it gains better performance than existing methods and is more powerful for extracting overlapping relations.

研究の動機と目的

• 従来の手法がエンティティの完全な認識後にのみ関係タイプを決定するため、エンティティと関係の間の相互作用を十分に活用できないという制限を解消すること。
• エンティティの表記と関係タイプの間の相互作用を、構造的かつ順序付きのフレームワークでエンティティを関係の引数として扱うことで、より良いモデル化を実現すること。
• 1つのエンティティが複数の関係に参加する、もしくは同じエンティティペアに複数の関係があるような重複関係の効果的抽出を、タスクの階層的分解によって可能にすること。
• 関係抽出とエンティティ抽出の2段階ポリシー構造に強化学習を統合することで、誤り伝搬を低減し、共同学習を向上させること。
• 特に遠隔教師あり学習の下で、単一関係や非重複設定にとどまらない、より柔軟で正確なパラダイムの構築

提案手法

• 2段階の階層的強化学習（HRL）構造を採用：高レベルポリシーが関係の兆候を検出し、低レベルポリシーがエンティティの表記を引数として抽出する。
• 高レベルの強化学習エージェントは文をスキャンし、文脈的・依存関係特徴をエンコードした状態表現に基づいて関係が検出された場合に、低レベルのサブタスクを起動する。
• 低レベルのポリシーは、ポリシーネットワークを用いて、ソースおよびターゲットエンティティの開始・終了スパンを逐次的に予測し、検出された関係に整合するように報酬を設計する。
• 両方のポリシーを最適な共同意思決定へ導くために、密度報酬、スパース報酬、およびカリキュラムベースの報酬設計を用いた強化学習を適用する。
• 両方のポリシーの状態表現には、BERTベースの文脈埋め込みと依存解析特徴を組み込み、文脈認識を強化する。
• 各検出された関係を独立的かつ逐次的に処理することで、1つのエンティティが複数の三元組に参加できるようにフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 自己回帰的または共同タグ付け手法と比較して、階層的強化学習フレームワークはエンティティの表記と関係タイプの間の相互作用をよりよくモデル化できるか？
• RQ2 エンティティが複数の関係に参加する重複関係の抽出において、提案されたHRLフレームワークはどの程度効果的か？
• RQ3 関係抽出の部分タスクベースの逐次的分解は、ノイズの多い関係が見られる遠隔教師あり学習データセットで性能向上をもたらすか？
• RQ4 高レベルの関係検出と低レベルのエンティティ抽出の間の相互作用が、全体のF1スコアにどの程度寄与するか？
• RQ5 ノイズや誤った関係アラインメントが一般的な遠隔教師あり学習の状況において、モデルは一般化できるか？

主な発見

• 提案されたHRLフレームワークは、NYT11-plusデータセットで最も強力なベースラインを4.9%の絶対的F1向上で上回り、重複関係抽出における優れた性能を示した。
• NYT11-plusデータセットにおいて、低レベルのエンティティ抽出ポリシーを削除した（HRL-Ent）場合、関係検出のF1が著しく低下したため、両タスク間の強い依存関係が示された。
• 関係検出において、すべてのベースラインを上回り、NYT11-plusで5.1%のF1向上を達成した。重複関係がより顕著に現れる環境で特に優れた性能を発揮した。
• 事例研究では、同じエンティティペアが複数の関係に参加する場合（例：Rupert MurdochがNews Corporationおよび会社創立者という両方の関係に参加）、正しく抽出していることが確認された。また、長距離関係（例：Murdochとオーストラリアの間）に対しても適切に対応していた。
• モデルは動的エンティティ役割（例：Rupert Murdochが1つの関係ではソース、別の関係ではターゲットとして機能）を正しく識別できており、階層的タギング機構の柔軟性を示した。
• 遠隔教師あり学習によるノイズにもかかわらず、複雑で重複する関係の検出において高い正確性を維持しており、弱教師あり学習に強いと示された。