[論文レビュー] Denoising Distant Supervision for Relation Extraction via Instance-Level Adversarial Training

Xu Han, Zhiyuan Liu+1 more|arXiv (Cornell University)|May 28, 2018

Topic Modeling参考文献 23被引用数 17

ひとこと要約

本論文は、ニューラル関係抽出における遠隔教師付き学習のノイズ除去を目的として、インスタンスレベルの adversarial training を提案する。ここで、識別器は確信のあるインスタンスとそうでないインスタンスを区別し、サンプラーは adversarial に混乱を引き起こすようなインスタンスを最も効果的に選別することで、ノイズフィルタリングの性能を向上させる。本手法は、NYT データセットにおいて、特にリソースが限られたエンティティペアにおいて、既存のノイズ除去ベースラインを著しく上回る最先端の性能を達成する。

ABSTRACT

Existing neural relation extraction (NRE) models rely on distant supervision and suffer from wrong labeling problems. In this paper, we propose a novel adversarial training mechanism over instances for relation extraction to alleviate the noise issue. As compared with previous denoising methods, our proposed method can better discriminate those informative instances from noisy ones. Our method is also efficient and flexible to be applied to various NRE architectures. As shown in the experiments on a large-scale benchmark dataset in relation extraction, our denoising method can effectively filter out noisy instances and achieve significant improvements as compared with the state-of-the-art models.

研究の動機と目的

• 知識グラフとテキストの自動アライメントに起因する、関係抽出における遠隔教師付き学習のノイズラベル問題に対処すること。
• 情報量の多い文とノイズの多い文を個々のインスタンスレベルで区別できるようにすることで、粗いソフトウェイトリングを超えたノイズ検出の粒度を向上させること。
• エンティティペアに少ない訓練インスタンスしか存在しない状況でも効果を発揮するノイズ除去手法を開発すること、これは長尾関係抽出における一般的な課題である。
• さまざまなニューラル関係抽出モデルに統合可能な、柔軟で効率的かつアーキテクチャに依存しないフレームワークを構築すること。

提案手法

• 訓練データを確信のあるセット（ポジティブ）と確信のないセット（ネガティブ）に分割し、確信のあるセットを用いて識別器を訓練してインスタンスを分類する。
• サンプラーモジュールを訓練して、確信のないセットの中から最も混乱を引き起こすインスタンスを選び、識別器に adversarial な挑戦を加える。
• 識別器とサンプラーを adversarial に訓練し、サンプラーは識別器をだますことを目指し、識別器は真のポジティブをよりよく識別できるように改善する。
• 訓練中に、確信のないセットの中から最も情報量が多く信頼性の高いインスタンスが動的に確信のあるセットに移動され、訓練データが豊かになる。
• adversarial プロセスにより、ノイズのあるインスタンスは両モジュールの損失を低下させられず、次第にフィルタリングされ、モデルのロバスト性が向上する。
• 本フレームワークは、PCNN などのさまざまなニューラルアーキテクチャと互換性があり、アーキテクチャの変更なしに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 インスタンスレベルの adversarial training は、ソフトアテンションやプーリングベースの手法を超えて、遠隔教師付き学習におけるノイズ検出を改善できるか？
• RQ2 エンティティペアに1つまたは2つの訓練文しか存在しない状況で、本手法のノイズインスタンスのフィルタリング効果はどの程度高いか？
• RQ3 adversarial 訓練メカニズムは、十分な監視が得られない長尾関係において性能向上をもたらすか？
• RQ4 本手法は、アーキテクチャの変更なしに、さまざまなニューラル関係抽出アーキテクチャに柔軟に適用可能か？

主な発見

• 本手法は、NYT ベンチマークにおいて、PCNN+ATT 及びその変種を含む最先端モデルを著しく上回り、全データ設定で 82.8% の F1 スコアを達成した。
• 1つまたは2つの文しか存在しないエンティティペアにおいても、ATT 及びそのベースラインを一貫して大きく上回る改善を示し、リソースが限られた状況でも高いロバスト性を示した。
• ケーススタディにより、サンプラーが「場所を含む」関係に対して正しくポジティブ例を選別し、関係のない例を除外していることが示された。
• 訓練データが増加するに従って、本手法は優れた性能を維持し、強いノイズ耐性とスケーラビリティを示した。
• 確信のないインスタンスを動的に確信のあるセットに再分類することで、モデル学習が促進され、本手法の有効性に寄与した。