[論文レビュー] Relation Mention Extraction from Noisy Data with Hierarchical Reinforcement Learning

Jun Feng, Minlie Huang+3 more|arXiv (Cornell University)|Nov 3, 2018

Topic Modeling参考文献 34被引用数 7

ひとこと要約

本稿では、文やmentionフレーズの明確なアノテーションが存在しない弱い教師あり設定下で、ノイズの多い文から関係mentionを抽出するための階層的強化学習（HRL）モデルを提案する。モデルは上位の文選択エージェントにより関連のない文をフィルタリングし、下位のmention抽出エージェントが代表的なフレーズを特定する。報酬推定器が遅延報酬を通じて間接的教師信号を提供する。このアプローチにより、クリーンデータおよびノイズが多いデータの両方で最先端の性能を達成した。

ABSTRACT

In this paper we address a task of relation mention extraction from noisy data: extracting representative phrases for a particular relation from noisy sentences that are collected via distant supervision. Despite its significance and value in many downstream applications, this task is less studied on noisy data. The major challenges exists in 1) the lack of annotation on mention phrases, and more severely, 2) handling noisy sentences which do not express a relation at all. To address the two challenges, we formulate the task as a semi-Markov decision process and propose a novel hierarchical reinforcement learning model. Our model consists of a top-level sentence selector to remove noisy sentences, a low-level mention extractor to extract relation mentions, and a reward estimator to provide signals to guide data denoising and mention extraction without explicit annotations. Experimental results show that our model is effective to extract relation mentions from noisy data.

研究の動機と目的

• 遠隔教師ありによって生成されたノイズの多い文から代表的な関係mentionを抽出する課題に対処すること。
• 大規模な関係抽出において、文の関連性やmentionフレーズ同定の両方に対して明確なアノテーションが欠如しているという課題を克服すること。
• 真のラベルではなく、間接的で遅延した報酬から学習する弱教師あり手法を開発すること。
• 下流のNLPタスク（関係分類や質問応答など）における関係mentionの品質と解釈可能性を向上させること。

提案手法

• モデルは、ノイズの多い文の集合から関連のある文を選択する上位エージェントを備えた階層的強化学習フレームワークを採用する。
• 下位エージェントは選択された文に対してmention抽出を実行し、特定の関係を表現するフレーズを同定する。
• 報酬推定器は、正しい関係分類の可能性に基づいて遅延報酬を計算し、両エージェントに対する間接的教師信号を提供する。
• 両レベルでの方策学習は報酬信号に従い、文のノイズ除去とmention抽出の共同最適化を可能にする。
• 文とフレーズ選択における逐次的意思決定をモデル化するため、半マルコフ決定過程としてフレームワークを定式化する。
• 手動による文やmention語のアノテーションが不要な形で、エンドツーエンドにポリシー勾配法を用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 明確なアノテーションが存在しない状況下でも、弱教師ありモデルがノイズの多い文から意味のある関係mentionを効果的に抽出できるか？
• RQ2 弱教師あり設定下で、階層的強化学習アーキテクチャが文のフィルタリングとmention抽出をどのように共同最適化できるか？
• RQ3 提案されたHRLモデルは、ノイズの多いデータからの代表的関係mention抽出において、既存のベースラインをどの程度上回るか？
• RQ4 抽出された関係mentionは、下流の関係分類性能を向上させることができるか？

主な発見

• クリーンデータでは、HRLモデルは上位5つの抽出mentionにおけるPrecision@Kが0.8を超えた。これはStanfordIEやATTを著しく上回った。
• ノイズの多いデータでは、HRLはP@10が0.68を維持し、ベースラインと比較して著しく優れた性能を示した。ベースラインは性能が急激に低下した。
• 単一レベルの強化学習よりもHRLモデルが優れており、ノイズの多いデータ処理において階層的設計の有効性が裏付けられた。
• 文選択モジュールは、ノイズの多いデータにおける性能向上を裏付けるように、関連のない文を効果的にフィルタリングした。
• 抽出された関係mentionは、CNN分類器に追加特徴として組み込むことで、マクロF1が82.13に向上した。
• 明確なアノテーションがなくても、遅延報酬から学習できる能力が、大規模な弱教師あり関係mention抽出に有効であることが示された。