[論文レビュー] InSRL: A Multi-view Learning Framework Fusing Multiple Information Sources for Distantly-supervised Relation Extraction

Zhendong Chu, Haiyun Jiang+2 more|arXiv (Cornell University)|Dec 17, 2020

Topic Modeling参考文献 31被引用数 4

ひとこと要約

本稿では、関係抽出のための遠隔教師付き学習において、文、エンティティの説明、多粒度エンティティタイプを統合するエンドツーエンドのマルチビュー学習フレームワークであるInSRLを提案する。内側およびクロスビューのアテンションを用いて単一ビューと完全空間表現を同時に学習することで、InSRLはSOTA性能を達成し、NYTベンチマークにおいてベースラインよりF1スコアを4.6%向上させた。

ABSTRACT

Distant supervision makes it possible to automatically label bags of sentences for relation extraction by leveraging knowledge bases, but suffers from the sparse and noisy bag issues. Additional information sources are urgently needed to supplement the training data and overcome these issues. In this paper, we introduce two widely-existing sources in knowledge bases, namely entity descriptions, and multi-grained entity types to enrich the distantly supervised data. We see information sources as multiple views and fusing them to construct an intact space with sufficient information. An end-to-end multi-view learning framework is proposed for relation extraction via Intact Space Representation Learning (InSRL), and the representations of single views are jointly learned simultaneously. Moreover, inner-view and cross-view attention mechanisms are used to highlight important information on different levels on an entity-pair basis. The experimental results on a popular benchmark dataset demonstrate the necessity of additional information sources and the effectiveness of our framework. We will release the implementation of our model and dataset with multiple information sources after the anonymized review phase.

研究の動機と目的

• 遠隔教師付き関係抽出におけるスパarsityとノイズの多いバッグ問題を、追加の情報源を統合することで解決すること。
• 伝統的なマルチインスタンス学習の制限を克服すること。特に、各バッグに少なくとも1つの正例文が存在すると仮定するが、実際のデータセットではこの条件が満たされないことが多く、その制限を回避すること。
• 複数のビューからの表現を統合的に学習する統一的でエンドツーエンドのフレームワークを構築すること。ビューの十分性を前提としない。
• エンティティの説明と多粒度タイプを、関係分類の補完的信号として統合する有効性を実証すること。

提案手法

• 3つの情報源をビューとして導入：遠隔教師付き文（v₁）、エンティティの説明（v₂）、多粒度エンティティタイプ（v₃）。各情報を別々のビューとして扱う。
• エンドツーエンドのフレームワークであるInSRLを提案。単一ビュー表現と完全空間表現を同時に学習し、標準的な完全空間学習の2段階学習を回避する。
• 各ビュー内での関係関連特徴を強調するために、インナービュー・アテンションを採用。これにより、各ビューごとの表現品質が向上する。
• 完全空間表現学習中に各ビューの重要性を動的に重み付けするために、クロスビュー・アテンションを適用。特にエンティティの説明のような情報量の多いビューを強調する。
• 各ビューの埋め込みの重み付き和に非線形変換（tanh）を適用し、分類用の最終的な完全空間表現を生成する。
• すべてのコンponents（アテンション重み、表現層など）を一括して最適化可能な単一の損失関数を用いて、モデル全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 エンティティの説明と多粒度エンティティタイプは、遠隔教師付き設定における関係抽出を向上させる有効な補完的信号として機能するか？
• RQ2 文レベルの監視のみを用いる伝統的なマルチインスタンス学習に比べ、複数の情報源を統合するエンドツーエンドのマルチビュー学習フレームワークは、性能を上回るか？
• RQ3 インナービューおよびクロスビューのアテンション機構は、ビュー内およびビュー間で関連する情報を効果的に強調できるか？
• RQ4 単純な平均化や重み付き平均化よりも、完全空間表現学習が関係分類においてより効果的か？
• RQ5 実世界の遠隔教師付き設定で一般的に見られるように、個々のビューがスパarsityやノイズを含んでも、本フレームワークは頑健に機能するか？

主な発見

• InSRLはNYTベンチマークでF1スコア0.465 ± 0.013を達成し、最良のベースライン（MV-ATT）より4.6%向上し、文のみを用いた単一ビュー監視より12.8%も向上した。
• エンティティの説明（v₂）と多粒度タイプ（v₃）の統合により性能が顕著に向上。v₂単体でもF1が0.314（v₃は0.288）を記録しており、説明文により豊かな意味的コンテンツが含まれていることが示された。
• インナービュー・アテンション機構を削除したInSRL w/o RATではF1が0.028低下し、各ビュー内での関係に特化した特徴を捉える重要性が裏付けられた。
• クロスビュー・アテンションを削除したInSRL-AVGではF1が0.015低下し、均一な平均化よりも動的重み付けによるビューの重要度評価が表現品質向上に寄与することが示された。
• MV-AVGおよびMV-ATTベースライン（完全空間学習なし、単純平均化およびrel-attentionを用いる）はInSRLに劣り、完全空間表現学習フレームワークの有効性が裏付けられた。
• アブレーションスタディの結果、3つのビューすべてが意味的に寄与しており、最良の性能は、本研究で提案されたエンドツーエンドのInSRLフレームワークを介して全情報源を統合した場合にのみ達成された。