[論文レビュー] Hierarchical Losses and New Resources for Fine-grained Entity Typing and Linking

Shikhar Murty, Patrick Verga+3 more|arXiv (Cornell University)|Jul 13, 2018

Topic Modeling参考文献 36被引用数 4

ひとこと要約

本稿では、オントロジーから得られる豊富なタイプおよびエンティティの階層構造を、細粒度エンティティタイプ指定およびリンクに統合するための階層的損失関数と双線形マッピングを導入し、FIGERおよび新規データセットMedMentionsとTypeNetで最先端の結果を達成した。これらのデータセットはコミュニティに公開された。

ABSTRACT

Extraction from raw text to a knowledge base of entities and fine-grained types is often cast as prediction into a flat set of entity and type labels, neglecting the rich hierarchies over types and entities contained in curated ontologies. Previous attempts to incorporate hierarchical structure have yielded little benefit and are restricted to shallow ontologies. This paper presents new methods using real and complex bilinear mappings for integrating hierarchical information, yielding substantial improvement over flat predictions in entity linking and fine-grained entity typing, and achieving new state-of-the-art results for end-to-end models on the benchmark FIGER dataset. We also present two new human-annotated datasets containing wide and deep hierarchies which we will release to the community to encourage further research in this direction: MedMentions, a collection of PubMed abstracts in which 246k mentions have been mapped to the massive UMLS ontology; and TypeNet, which aligns Freebase types with the WordNet hierarchy to obtain nearly 2k entity types. In experiments on all three datasets we show substantial gains from hierarchy-aware training.

研究の動機と目的

• 整理されたオントロジーからの階層構造を統合することで、平坦な予測モデルが有する限界を是正すること。
• 複雑なタイプおよびエンティティの階層構造を効果的に符号化できる、新しい階層的損失関数および双線形マッピングの開発。
• コミュニティ利用を目的とした、広範かつ深い階層構造を持つ人間によるアノテーション済みの新規データセット2つ（MedMentionsとTypeNet）の公開。
• 階層に配慮した学習を通じて、エンドツーエンドのエンティティタイプ指定およびリンクにおける顕著な性能向上の実証。
• 細粒度エンティティタイプ指定およびリンクにおける階層に配慮したモデルの評価のための新しいベンチマークの確立。

提案手法

• タイプおよびエンティティの階層における親子関係を尊重するよう予測を促進する階層的損失関数を提案。
• エンティティの表記とそのタイプ間の階層的関係をモデル化するため、実数および複素数の双線形マッピングを導入。
• UMLSオントロジーを用いて、24万6千件のPubMed要約にアノテートされた表記を含むMedMentionsというデータセットを構築。
• FreebaseのタイプをWordNetに一致させることで、約2,000のエンティティタイプと深い階層構造を持つTypeNetというデータセットを構築。
• FIGER、MedMentions、TypeNetの3つのデータセットにおいて、階層的監視を学習中に適用することで、エンドツーエンドモデルに提案手法を適用。
• 階層的制約を保持しつつ、エンティティ表現をタイプ空間にマップするための双線形変換を採用。

実験結果

リサーチクエスチョン

• RQ1 平坦な予測モデルと比較して、階層的監視が細粒度エンティティタイプ指定およびリンクの性能向上に顕著に寄与するか？
• RQ2 実数および複素数の双線形マッピングは、エンティティタイプにおける階層的関係の符号化にどの程度効果的か？
• RQ3 整理されたオントロジーからの深いおよび広範な階層構造は、モデルの一般化性能および正確性をどの程度向上させるか？
• RQ4 提案手法は、複雑な階層構造を活用しながらも、FIGERのようなベンチマークデータセットで最先端の結果を達成できるか？
• RQ5 新規データセットMedMentionsとTypeNetは、階層に配慮したモデルの開発および評価をどの程度支援するか？

主な発見

• 提案された階層に配慮した手法は、エンドツーエンドのエンティティタイプ指定およびリンクにおけるベンチマークデータセットFIGERで、新たな最先端性能を達成した。
• FIGER、MedMentions、TypeNetの3つのデータセットすべてで顕著な性能向上が観察され、階層的監視の有効性が裏付けられた。
• 平坦なベースラインと比較して、複素数の双線形マッピングの使用により、階層的関係のモデリングが顕著に向上した。
• MedMentionsデータセットには、巨大なUMLSオントロジーからのタイプでアノテートされた24万6千件の表記が含まれており、大規模評価が可能である。
• TypeNetデータセットは、Freebaseの約2,000のエンティティタイプをWordNetの階層と一致させたもので、深い構造的タイプ階層を提供している。
• 新しい損失関数および双線形層による階層情報の統合は、平坦な予測モデルと比較して一貫した性能向上をもたらした。