[論文レビュー] Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning

Tianyi Liu, Xinsong Zhang+2 more|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 23被引用数 9

ひとこと要約

本稿では、エンティティの最低共通祖先を中心にした部分構文木抽出（Sub-Tree Parse; STP）を用いて文内ノイズを低減し、エンティティ分類からの転移学習を活用してモデルのロバスト性を向上させる、新しいニューラル関係抽出フレームワークを提案する。STP、エンティティ別アテンション、パラメータ転送学習を組み合わせることで、NYTおよびFreebaseデータセット上で最先端の手法を上回り、F1スコア（PR）面積を0.35から0.39に向上させる。

ABSTRACT

Extracting relations is critical for knowledge base completion and construction in which distant supervised methods are widely used to extract relational facts automatically with the existing knowledge bases. However, the automatically constructed datasets comprise amounts of low-quality sentences containing noisy words, which is neglected by current distant supervised methods resulting in unacceptable precisions. To mitigate this problem, we propose a novel word-level distant supervised approach for relation extraction. We first build Sub-Tree Parse(STP) to remove noisy words that are irrelevant to relations. Then we construct a neural network inputting the sub-tree while applying the entity-wise attention to identify the important semantic features of relational words in each instance. To make our model more robust against noisy words, we initialize our network with a priori knowledge learned from the relevant task of entity classification by transfer learning. We conduct extensive experiments using the corpora of New York Times(NYT) and Freebase. Experiments show that our approach is effective and improves the area of Precision/Recall(PR) from 0.35 to 0.39 over the state-of-the-art work.

研究の動機と目的

• 遠隔教師付き関係抽出データセットにおける低品質・ノイズの多い文の問題に対処すること。
• 関係抽出の性能を阻害する文内の単語レベルのノイズを低減すること。
• より良いパラメータ初期化により、ノイズの多い訓練データに対してモデルのロバスト性を向上させること。
• エンティティタイプ分類を、関係抽出モデルの事前知識として活用し、初期化すること。
• ノイズが多く、非公式なウェブクロール文を対象として、より高い精度と再現率を達成すること。

提案手法

• 2つのエンティティの最低共通祖先を中心にした構文的部分木を抽出するため、Sub-Tree Parse (STP) を提案する。これにより不要な語が除去される。
• パースド部分木内での関係関連の意味的特徴を強調するために、エンティティ別アテンションを適用する。
• エンティティタイプ分類タスクで事前学習した重みを用いて、関係抽出モデルの初期化に転移学習を活用する。
• シーケンス符号化と関係分類のため、単語レベルのアテンションを備えた双方向GRU（BGRU）を採用する。
• STP、エンティティ別アテンション、転移学習を統合し、ノイズ耐性に優れたエンドツーエンドのニューラルモデルを構築する。
• 自動ラベル付与を伴う遠隔教師付き学習により、NYTおよびFreebaseデータセットでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 構文解析を用いることで、文内ノイズを効果的に低減し、関係抽出の正確性を向上させることができるか？
• RQ2 標準的な単語レベルのアテンションと比較して、エンティティ別アテンションは関係関連特徴に注目する能力を向上させるか？
• RQ3 エンティティタイプ分類からの転移学習により、ノイズが多く、低品質なデータセットでも関係抽出器のロバスト性が向上するか？
• RQ4 STP、エンティティ別アテンション、転移学習の統合は、最先端の関係抽出手法と比較して優れているか？
• RQ5 関連タスクからのパラメータ初期化は、ノイズの多い訓練データの悪影響をどれほど軽減できるか？

主な発見

• 提案手法は、F1スコア（PR）曲線の面積が0.392に達し、最も優れたベースライン（PCNN+ATT）と比較して6.3%の向上を示した。
• PCNN+ATTと比較して、P@100は6.3%、P@200は7.6%、P@300は7.7%向上し、評価指標全体にわたり一貫した向上が確認された。
• STPとエンティティ別アテンションの組み合わせにより、文内ノイズが効果的に低減され、ベースラインと比較して5%以上の性能向上が達成された。
• 転移学習によりモデルのロバスト性が向上し、転移学習なしのモデル（0.383）と比較してPR-AUCが2%向上（0.392）した。
• 再現率0.25の段階で精度が0.6以上を維持しており、高信頼度の予測において優れた性能を示した。
• STP手法により、文の平均長さが顕著に短縮された。NYT-10データセットでは99.4%の文にノイズが含まれており、平均して1文あたり約12語のノイズが除去された。