[論文レビュー] Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction

Yixin Cao, Jun Kuang+4 more|arXiv (Cornell University)|Nov 27, 2020

Topic Modeling参考文献 50被引用数 5

ひとこと要約

本稿では、頻度の高い関係から希少な関係へと知識を転送することで、長尾関係抽出を改善するために、ラベルなしテキストから関係プロトタイプを抽出するプロトタイプ学習手法を提案する。共起グラフを構築し、エンティティの一次および二次的近接性をモデル化することで、エンティティペアと関係プロトタイプ間の距離を最適化し、NYTおよびGoogle Distant Supervisionデータセットにおいて、最先端のベースラインより平均F1スコアで4.1%の向上を達成した。

ABSTRACT

Relation Extraction (RE) is a vital step to complete Knowledge Graph (KG) by extracting entity relations from texts.However, it usually suffers from the long-tail issue. The training data mainly concentrates on a few types of relations, leading to the lackof sufficient annotations for the remaining types of relations. In this paper, we propose a general approach to learn relation prototypesfrom unlabeled texts, to facilitate the long-tail relation extraction by transferring knowledge from the relation types with sufficient trainingdata. We learn relation prototypes as an implicit factor between entities, which reflects the meanings of relations as well as theirproximities for transfer learning. Specifically, we construct a co-occurrence graph from texts, and capture both first-order andsecond-order entity proximities for embedding learning. Based on this, we further optimize the distance from entity pairs tocorresponding prototypes, which can be easily adapted to almost arbitrary RE frameworks. Thus, the learning of infrequent or evenunseen relation types will benefit from semantically proximate relations through pairs of entities and large-scale textual information.We have conducted extensive experiments on two publicly available datasets: New York Times and Google Distant Supervision.Compared with eight state-of-the-art baselines, our proposed model achieves significant improvements (4.1% F1 on average). Furtherresults on long-tail relations demonstrate the effectiveness of the learned relation prototypes. We further conduct an ablation study toinvestigate the impacts of varying components, and apply it to four basic relation extraction models to verify the generalization ability.Finally, we analyze several example cases to give intuitive impressions as qualitative analysis. Our codes will be released later.

研究の動機と目的

• 少数の例や未学習の関係が十分な訓練データを持たない長尾問題に対処すること。
• 関係階層やエンティティタイプなどの外部事前知識に依存することを減らし、ラベルなしテキストのみに依存すること。
• 学習された意味的プロトタイプを通じて、高リソース関係から低リソース関係へと知識を転送すること。
• プロトタイプベースの転移学習を統合することで、既存のREモデルの一般化性能を向上させること。
• アーキテクチャの変更なしに、さまざまなREアーキテクチャと互換性がある汎用フレームワークを開発すること。

提案手法

• ラベルなしテキストから共起グラフを構築し、文間をまたがるエンティティの近接性をモデル化する。
• エンティティ間の一次的近接性（直接の共起）と二次的近接性（共有の近接者）を捉える。
• 関係の意味的意味と近接性を反映する潜在表現としての関係プロトタイプを学習する。
• 対照的損失目的関数を用いて、エンティティペアとその対応する関係プロトタイプ間の距離を最適化する。
• プラグアンドプレイ機構を通じて、既存のREモデルにプロトタイプ学習モジュールを統合する。
• 大規模なテキスト情報を利用して、明示的な教師なし条件下で関係タイプ間の意味的類似性を暗黙的に捉える。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしテキストから関係プロトタイプを効果的に学習することで、長尾関係抽出を向上させることができるか？
• RQ2 提案されたプロトタイプ学習手法は、頻度の高い関係から希少な関係へと知識をどのように転送するか？
• RQ3 アーキテクチャの変更なしに、さまざまなREフレームワークにどの程度一般化できるか？
• RQ4 一次的および二次的近接性は、プロトタイプの品質と下流性能にどのように寄与するか？
• RQ5 プロトタイプベースの知識転送は、希少および未学習の関係タイプにどのような影響を与えるか？

主な発見

• 提案手法は、NYTおよびGoogle Distant Supervisionデータセットにおいて、8つの最先端ベースラインより平均F1スコアで4.1%の向上を達成した。
• 特に長尾関係において顕著な向上が観察され、プロトタイプベースの知識転送の有効性が確認された。
• アブレーションスタディの結果、一次的および二次的近接性の両方が性能向上に寄与しており、二次的近接性がより強いインダクティブバイアスを提供することが分かった。
• プロトタイプ学習モジュールは、4種類の異なるベースREモデルにおいても良好に一般化され、高い互換性と転送性を示した。
• 定性的な事例スタディにより、意味的に類似した関係（例：/location/us_state/capital と /location/fr_region/capital）が、学習されたプロトタイプによって正しくグループ化されていることが確認された。
• 関係階層などの外部知識に依存することを減らしたが、依然として生テキストからの自己教師付きプロトタイプ学習により、強力な性能を達成した。