[論文レビュー] RDSGAN: Rank-based Distant Supervision Relation Extraction with Generative Adversarial Framework

Guoqing Luo, Jiaxin Pan+1 more|arXiv (Cornell University)|Sep 30, 2020

Topic Modeling参考文献 22被引用数 4

ひとこと要約

RDSGAN は、敵対的訓練を用いて真陽性インスタンスの分布を学習し、ランクベースの遠隔教師付き学習を用いて有効なインスタンスを選択することで、遠隔教師付き関係抽出における誤検出を低減する生成的敵対的フレームワークである。これは強力なベースラインを上回り、NYT データセットで 85.1% の平均 Precision@N と 0.39 の AUC を達成し、ノイズ低減とパフォーマンスの優位性を示している。

ABSTRACT

Distant supervision has been widely used for relation extraction but suffers from noise labeling problem. Neural network models are proposed to denoise with attention mechanism but cannot eliminate noisy data due to its non-zero weights. Hard decision is proposed to remove wrongly-labeled instances from the positive set though causes loss of useful information contained in removed instances. In this paper, we propose a novel generative neural framework named RDSGAN (Rank-based Distant Supervision GAN) which automatically generates valid instances for distant supervision relation extraction. Our framework combines soft attention and hard decision to learn the distribution of true positive instances via adversarial training and selects valid instances conforming to the distribution via rank-based distant supervision, which addresses the false positive problem. Experimental results show the superiority of our framework over strong baselines.

研究の動機と目的

• ノイズの多いラベル付けによって引き起こされる遠隔教師付き関係抽出における誤陽性問題に対処すること。
• 敵対的訓練を用いてソフト注釈とハード意思決定を統合し、真陽性分布をモデル化すること。
• クリーンなトレーニングデータのための大量の有効な（真陽性および真陰性）インスタンスを自動的に生成すること。
• 従来のハード削除手法で失われる有用な情報を保持しながらノイズを低減すること。
• 新しいランクベースの遠隔教師付き学習メカニズムを通じて関係抽出のパフォーマンスを向上させること。

提案手法

• フレームワークは、頭部、関係、およびテールの三つ組みに基づいて条件付けられた文埋め込みを生成するジェネレータを使用する。
• ディスクラミネーターは敵対的に訓練され、本物の真陽性インスタンスと生成されたインスタンスを区別することで、真陽性分布を学習する。
• 訓練後、ディスクラミネーターは固定され、バッグ内のインスタンスを本物の陽性サンプルに類似度に基づいてランク付けするために使用される。
• ランク付けモジュールは選択的注釈を適用し、学習された分布に最も適合するインスタンスを特定・選択する。
• ジェネレータはランク損失と関係分類損失とを併用して最適化され、各バッグごとにクリーンで有効なインスタンスを生成する。
• ランクベースの遠隔教師付き学習により、上位ランクのインスタンスがトレーニングデータとして選択され、誤検出が最小限に抑えられる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、ノイズの多い遠隔教師付き学習データにおける真陽性インスタンスの分布を効果的に学習できるか？
• RQ2 ランク付けを通じてソフト注釈とハード意思決定を統合することは、関係抽出におけるノイズ低減を改善できるか？
• RQ3 従来の注釈または削除ベースの手法と比較して、ランクベースの遠隔教師付き学習は、誤検出を低減しながら有用な情報をより効果的に保持できるか？
• RQ4 生成的フレームワークは、関係抽出のパフォーマンスを向上させるために高品質なトレーニングインスタンスを自動的に生成できるか？
• RQ5 ベンチマークデータセットにおける精度、再現率、AUCの観点から、RDSGAN は最先端のモデルと比較してどのように差をつけるか？

主な発見

• RDSGAN は、N=100, 200, 300 のそれぞれに対して 88.9%、85.3%、81.1% の Precision@N を達成し、すべてのベースラインを顕著に上回った。
• NYT データセットにおいて、DSGAN+ATT よりも AUC を 8.98% 向上させ、PDCNN+TATT よりも 7.69% 向上させた。
• PR曲線解析により、RDSGAN は全再現率レベルで高い精度を維持しており、他のモデルよりもゆっくり減少した。
• 高い再現率領域では、PDCNN+TATT よりも平均で 6% の高い精度を達成しており、耐障害性が裏付けられた。
• 敵対的訓練とランクベースの監視の組み合わせは、誤検出を効果的に低減するとともに、有用な情報を保持した。
• RDSGAN は、遠隔教師付き学習におけるクリーンなデータ合成に、生成モデルとランク付けを組み合わせた手法の優位性を示している。