[論文レビュー] RH-Net: Improving Neural Relation Extraction via Reinforcement Learning and Hierarchical Relational Searching

Jianing Wang|arXiv (Cornell University)|Oct 27, 2020

Topic Modeling参考文献 21被引用数 4

ひとこと要約

RH-Netは、強化学習を用いた高品質なインスタンス選別と、データ豊富な関係からデータ貧困な関係へと意味を転送する階層的関係探索モジュールを統合することで、遠隔監視ベースの関係抽出におけるノイズラベルと長尾分布の二重の課題に同時に取り組む新しいフレームワークを提案する。2つのモジュールが繰り返し相互作用することで、NYTデータセットにおいて最先端の性能を達成する。

ABSTRACT

Distant supervision (DS) aims to generate large-scale heuristic labeling corpus, which is widely used for neural relation extraction currently. However, it heavily suffers from noisy labeling and long-tail distributions problem. Many advanced approaches usually separately address two problems, which ignore their mutual interactions. In this paper, we propose a novel framework named RH-Net, which utilizes Reinforcement learning and Hierarchical relational searching module to improve relation extraction. We leverage reinforcement learning to instruct the model to select high-quality instances. We then propose the hierarchical relational searching module to share the semantics from correlative instances between data-rich and data-poor classes. During the iterative process, the two modules keep interacting to alleviate the noisy and long-tail problem simultaneously. Extensive experiments on widely used NYT data set clearly show that our method significant improvements over state-of-the-art baselines.

研究の動機と目的

• 遠隔監視ベースの関係抽出におけるノイズラベルと長尾分布の二重の課題に対処すること。
• ノイズの多いインスタンスのフィルタリングと、データ豊富な関係からデータ貧困な関係への意味の転送を同時に最適化すること。
• 低リソースな関係クラスにおけるモデルの汎化性能と性能を向上させること。
• 関係タイプ間で関連する意味を共有できる、木構造の関係階層に基づく階層的関係探索機構を開発すること。
• より良いインスタンス選別が可能なように、暗黙の関係情報が統合された強化学習エージェントを設計すること。

提案手法

• 強化学習を用いて、関係バッグを正しいものとノイズのものに分割するエージェントを訓練し、下流の学習に高品質なインスタンスのみを入力する。
• 階層的関係探索モジュールは、関係抽出を木探索タスクとして扱い、ルートノードからリーフノードまで事前に定義された関係階層を走査する。
• 各ノードで関連するインスタンスからの意味を統合するゲーティング機構を導入することで、データ豊富な関係からデータ貧困な関係への知識転送を可能にする。
• 階層的木の各層における寄与度をバランスさせるために重み付き和損失関数を導入し、学習の安定性を向上させる。
• 強化学習エージェントの報酬関数に暗黙の関係情報を統合することで、意味的に関連するインスタンスを検出する能力を強化する。
• 強化学習モジュールと階層的探索モジュールの2つが、学習中に繰り返し相互作用し、ノイズと長尾問題を同時に緩和する。

実験結果

リサーチクエスチョン

• RQ1 暗黙の関係情報による強化学習による報酬設計は、遠隔監視における高品質な学習インスタンスの選別を改善できるか？
• RQ2 木構造の関係階層において、階層的関係探索がデータ豊富な関係からデータ貧困な関係への意味の転送を効果的に実現できるか？
• RQ3 ノイズインスタンスのフィルタリングと意味の共有の相互作用は、長尾関係における性能向上に寄与するか？
• RQ4 ゲーティング機構と重み付き損失関数の統合は、モデルの安定性と性能にどのような影響を及ぼすか？
• RQ5 RH-NetはNYTベンチマークで既存のSOTA手法をどの程度上回るか？

主な発見

• RH-NetはNYTデータセットで最先端の性能を達成し、全体的および長尾関係抽出の両面で既存のSOTA手法を上回った。
• PCNNベースのRH-NetモデルはCNNベースのバージョンよりも高い性能を示し、長尾関係に対しては部分的特徴表現の重要性が示された。
• HRSモジュールは単純なアテンション機構よりも顕著に性能を向上させ、ゲーティング機構を除去するとP@Nが10%以上低下した。
• RLエージェントにおける暗黙の関係信号を除去すると、平均P@Nが2.10%低下し、関連するインスタンスを特定する上でその価値が裏付けられた。
• 重み付き損失関数の導入により学習の安定性が著しく向上し、その除去によって平均P@Nが7.30%低下した。
• ケーススタディの結果、モデルは長尾関係に対して正しいインスタンスを正しく同定し、ノイズの多い文を効果的にフィルタリングしていることが確認されたが、極めてリソースが乏しい関係ではデータ不足のため性能が低下した。