[論文レビュー] Robust Distant Supervision Relation Extraction via Deep Reinforcement Learning

Pengda Qin, Weiran Xu+1 more|arXiv (Cornell University)|May 24, 2018

Topic Modeling参考文献 20被引用数 45

ひとこと要約

この論文は、ポリシーに基づく深層強化学習フレームワークを導入し、遠隔監視型リレーション抽出における偽陽性サンプルを識別して再分配することで、基盤となるリレーション分類器を変更せずにモデル間のロバストネスを向上させる。

ABSTRACT

Distant supervision has become the standard method for relation extraction. However, even though it is an efficient method, it does not come at no cost---The resulted distantly-supervised training samples are often very noisy. To combat the noise, most of the recent state-of-the-art approaches focus on selecting one-best sentence or calculating soft attention weights over the set of the sentences of one specific entity pair. However, these methods are suboptimal, and the false positive problem is still a key stumbling bottleneck for the performance. We argue that those incorrectly-labeled candidate sentences must be treated with a hard decision, rather than being dealt with soft attention weights. To do this, our paper describes a radical solution---We explore a deep reinforcement learning strategy to generate the false-positive indicator, where we automatically recognize false positives for each relation type without any supervised information. Unlike the removal operation in the previous studies, we redistribute them into the negative examples. The experimental results show that the proposed strategy significantly improves the performance of distant supervision comparing to state-of-the-art systems.

研究の動機と目的

• 遠隔監視型リレーション抽出におけるノイズを動機づけ、対処する。
• 手動ラベリングなしで偽陽性を識別するモデル依存性のないRLベースの手法を開発する。
• 偽陽性の再分配が既存のニューラルリレーション抽出器の性能を向上させることを実証する。
• NYT-Freebaseデータセット上で複数のベースラインに対する堅牢性を示す。

提案手法

• 現在の文と前後の文からの状態情報を統合して、遠隔監視をMDPとして定式化する。
• ポリシー網（CNNベース）を用いて、関係タイプごとに各遠隔監視文の削除または保持を決定する。
• 高度に不均衡なDS陽性/陰性分割を用いた教師付きに似たステップでポリシー網を事前訓練する。
• 検証セットでのF1の改善を報酬とし、各エポックで固定数の文を削除して陰性集合に再分配するよう RL エージェントを訓練する。
• 報酬 R_i を、連続エポック間のF1の差のアルファ倍として定義し、訓練を安定化させるために直近5エポックの平均で平均化する。
• 削除されたサンプルを陰性集合へ再分配し、報酬駆動の性能を評価するためにリレーションクラスifierを再訓練する。

実験結果

リサーチクエスチョン

• RQ1 手動ラベリングなしで、ポリシーに基づくRLエージェントは遠隔監視データ中の偽陽性文を信頼性高く識別することを学べるか。
• RQ2 偽陽性を陰性集合へ再分配することは、NYT-Freebase上の既存のリレーション抽出モデルの性能を改善するか。
• RQ3 提案されたRLフレームワークはモデルに依存しないもので、異なるニューラルリレーション抽出器と互換性があるか。
• RQ4 事前訓練と報酬駆動の再訓練が分類器の性能に与える影響は何か。

主な発見

• RLベースの偽陽性指標は、元の戦略や事前訓練戦略のみを使用した場合と比べて、関係分類器のF1スコアを向上させる。
• 事前訓練は顕著な改善をもたらし、RL再訓練は複数のリレーションタイプでさらなる利得を提供する。
• RL強化訓練は、CNNベースおよびPCNNベースのモデルにおいてPR曲線下の領域（AUC）の改善をもたらし、統計的に有意な利得を示した（p値を報告）。
• この手法は既存のモデルと併用することで性能を向上させることが示されており、モデルに依存しないプラグアンドプレー可能な適用性を示している。
• 例は偽陽性の検出と、削除されたサンプルの関係ごとの分布を示しており、データセットノイズ特性と一致している。