[論文レビュー] Heterogeneous Supervision for Relation Extraction: A Representation Learning Approach

Liyuan Liu, Xiang Ren+5 more|arXiv (Cornell University)|Jul 1, 2017

Topic Modeling参考文献 31被引用数 19

ひとこと要約

本稿では、知識ベースやドメイン固有のヒューリスティクスなどの多様なソースからの異種の監視情報のもとで、関係抽出と真のラベル発見を統合的に実行する新しい表現学習フレームワーク、REHessionを提案する。文脈に適応した埋め込みを活用してラベル関数の効果的でないサブセットを特定し、表現とラベルを反復的に最適化することで、REHessionはベンチマークデータセットにおいて最先端の手法を上回る性能を示し、ノイズが多く矛盾する監視情報の処理において優れた性能を発揮する。

ABSTRACT

Relation extraction is a fundamental task in information extraction. Most existing methods have heavy reliance on annotations labeled by human experts, which are costly and time-consuming. To overcome this drawback, we propose a novel framework, REHession, to conduct relation extractor learning using annotations from heterogeneous information source, e.g., knowledge base and domain heuristics. These annotations, referred as heterogeneous supervision, often conflict with each other, which brings a new challenge to the original relation extraction task: how to infer the true label from noisy labels for a given instance. Identifying context information as the backbone of both relation extraction and true label discovery, we adopt embedding techniques to learn the distributed representations of context, which bridges all components with mutual enhancement in an iterative fashion. Extensive experimental results demonstrate the superiority of REHession over the state-of-the-art.

研究の動機と目的

• 知識ベースやドメイン固有のヒューリスティクスなどの複数のソースからの異種の監視情報を活用することで、関係抽出における人的アノテーションデータの高コストと不足問題を解決すること。
• 異なるソースからのノイズが多く不一致なラベルの間の矛盾を解消するために、文脈依存のラベル関数の効果的でないサブセットを同定すること。
• 共有される文脈表現を通じた相互強化により、関係抽出と真のラベル発見を共同で最適化すること。
• 従来の真のラベル発見手法が仮定するソースの一貫性仮定の制限を克服し、異なる文脈タイプにおけるラベル関数の信頼性の可変性をモデル化すること。
• エンドツーエンドの表現学習により、リソースが限られた状況やドメイン特化された関係抽出のシナリオにおける汎化性能と性能を向上させること。

提案手法

• 関係の表出とその文脈を低次元のベクトル空間に埋め込む分散表現学習を採用し、意味的類似性を捉え、文脈に適応した分析を可能にする。
• ラベル関数は全体として信頼性が低いが、特定の文脈依存サブセット（効果的でないサブセット）では信頼性があると仮定し、埋め込みの類似度により同定する。
• 相互監視を用いて、文脈表現、真のラベル推定、関係分類の3つを反復的に最適化する共同学習プロセスを実装する。
• 識別された効果的でないサブセットにおけるラベル関数のパフォーマンスに基づき、信頼性スコアを計算し、監視信号の動的重み付けを可能にする。
• 改善された文脈表現が真のラベル発見と関係抽出の両方を向上させ、逆に両者が文脈表現の改善に寄与する反復的最適化ループを採用する。
• 知識ベースやヒューリスティックパターンなどの複数の監視ソースを統合するが、すべてのインスタンスにおいて一様な信頼性を仮定しない。

実験結果

リサーチクエスチョン

• RQ1 知識ベースやドメイン固有のヒューリスティクスなどの多様なソースからの異種の監視情報を、関係抽出に効果的に活用する方法は何か？
• RQ2 全体としてのソース一貫性を仮定せずに、ノイズが多く不一致なラベル関数の間の矛盾をどのように解消できるか？
• RQ3 文脈に適応した表現は、ラベル関数の効果的でないサブセットの特定と真のラベル発見の向上に寄与するか？
• RQ4 関係抽出と真のラベル発見を共同で学習することで、個別に学習する場合と比べて性能がどの程度向上するか？
• RQ5 提案されたフレームワークは、リソースが限られた状況やドメイン特化された関係抽出の設定において、最先端の手法を上回るか？

主な発見

• REHessionはベンチマークデータセットにおいて最先端の性能を達成し、関係抽出および関係分類の両タスクで既存手法を顕著に上回る。
• NYTデータセットでは最良のベースラインと比較してF1スコアを最大0.055向上させ、ACE05データセットでは0.048向上させた。
• 文脈に適応した埋め込みの活用により、信頼性のあるラベル推定に不可欠なラベル関数の効果的でないサブセットの正確な同定が可能になった。
• 文脈表現、真のラベル発見、関係抽出の間で反復的相互強化が行われるため、複数のデータセットで一貫した性能向上が得られた。
• ノイズの多い監視情報に対しても頑健性を示し、ラベル関数が不一致または部分的に誤りであっても優れた性能を発揮した。
• アブレーションスタディの結果、文脈に適応した効果的でないサブセット検出と共同学習が不可欠な要素であることが確認され、これらを削除すると性能が著しく低下した。