[論文レビュー] Finer Grained Entity Typing with TypeNet.

Shikhar Murty, Patrick Verga+2 more|arXiv (Cornell University)|Nov 1, 2017

Natural Language Processing Techniques被引用数 7

ひとこと要約

この論文は、FreebaseのタイプをWordNetにマッピングすることで導き出された1,941種類の階層的タイプを備えた、細分化されたエンティティタイプデータセットTypeNetを紹介する。また、標準的なタイプ指定損失に加えて階層構造損失を組み込んだモデルを提案し、新しいベンチマークと手法フレームワークを用いて、細分化された構造的エンティティタイプ指定の最先端の性能を向上させた。

ABSTRACT

We consider the challenging problem of entity typing over an extremely fine grained set of types, wherein a single mention or entity can have many simultaneous and often hierarchically-structured types. Despite the importance of the problem, there is a relative lack of resources in the form of fine-grained, deep type hierarchies aligned to existing knowledge bases. In response, we introduce TypeNet, a dataset of entity types consisting of over 1941 types organized in a hierarchy, obtained by manually annotating a mapping from 1081 Freebase types to WordNet. We also experiment with several models comparable to state-of-the-art systems and explore techniques to incorporate a structure loss on the hierarchy with the standard mention typing loss, as a first step towards future research on this dataset.

研究の動機と目的

• エンティティタイプにおいて、既存の知識ベースと整合した細分化された深さのあるタイプ階層が不足している問題に対処すること。
• WordNetの意味的構造に基づき、木構造的な階層に整理された1,941種類のエンティティタイプからなる包括的で手作業でキュレートされたデータセットを作成すること。
• ニューラルモデルにおける階層的構造損失と標準的なmentionタイプ指定損失の統合を検討すること。
• 構造的で知識ベースに整合したデータセットを用いて、細分化されたエンティティタイプ指定のベンチマークを確立すること。

提案手法

• 1,081個のFreebaseタイプをWordNetの概念に手作業でマッピングし、階層的タイプネットワークを構築する。
• WordNetの意味的構造に基づき、木構造的な階層に整理された1,941種類のタイプからなるデータセットを構築する。
• mentionレベルのタイプ指定と階層的構造の一貫性の両方を最適化するニューラルモデルを設計する。
• 予測されたタイプ埋め込みがTypeNetの階層的関係を尊重するよう促す構造損失関数を組み込む。
• mentionタイプ指定のための標準的な交差エントロピー損失と、タイプ埋め込みにおけるコントラスト型の構造損失を併用してモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 既存の知識ベースから、体系的かつ一貫性のある細分化された階層的エンティティタイプ分類体系をどのように構築できるか？
• RQ2 階層的構造損失を組み込むことで、細分化されたエンティティタイプ指定の性能はどの程度向上するか？
• RQ3 手作業でキュレートされた大規模なタイプ階層は、エンティティタイプ指定モデルの一般化性能と正確性を向上させることができるか？
• RQ4 mention予測とタイプ階層の一貫性の両方を同時に最適化する際、異なるモデルアーキテクチャはどのように性能を発揮するか？

主な発見

• TypeNetは、FreebaseのタイプをWordNetにマッピングすることで得られた、1,941種類のエンティティタイプを階層構造に整理した包括的なデータセットを提供する。
• 構造損失関数の導入により、タイプの階層的関係に整合性を保つよう促されることで、モデルの性能が向上した。
• 提案手法は、mentionタイプ指定と階層的構造の両方を同時に最適化することで、意味的タイプ階層との整合性が高まることを示した。
• このデータセットとフレームワークは、階層的監視を用いた今後の細分化された構造的エンティティタイプ指定研究の基盤を築いた。