[論文レビュー] Learning Distributed Representations of Texts and Entities from Knowledge Base

Ikuya Yamada, Hiroyuki Shindo+2 more|arXiv (Cornell University)|May 6, 2017

Topic Modeling参考文献 41被引用数 8

ひとこと要約

本稿では、Wikipediaの人間によるエンティティリンクのアノテーションを用いて訓練することで、テキストと知識ベース（KB）エンティティの分散表現を共同で学習するニューラルネットワークモデル、Neural Text-Entity Encoder（NTEE）を提案する。モデルはテキストとエンティティのベクトルを共有の埋め込み空間内で整合させることで、ソフトマックスベースの予測目的を用いて、意味的テキスト類似度、エンティティリンク、ファクトイド質問応答の各タスクで最先端の性能を達成する。

ABSTRACT

We describe a neural network model that jointly learns distributed representations of texts and knowledge base (KB) entities. Given a text in the KB, we train our proposed model to predict entities that are relevant to the text. Our model is designed to be generic with the ability to address various NLP tasks with ease. We train the model using a large corpus of texts and their entity annotations extracted from Wikipedia. We evaluated the model on three important NLP tasks (i.e., sentence textual similarity, entity linking, and factoid question answering) involving both unsupervised and supervised settings. As a result, we achieved state-of-the-art results on all three of these tasks. Our code and trained models are publicly available for further academic research.

研究の動機と目的

• テキストとKBエンティティの分散表現を共同で学習する汎用的なニューラルネットワークモデルの開発。
• Wikipediaの手作業によるエンティティアノテーションを、テキストとエンティティ表現の学習に向けた教師信号として活用する。
• 意味的テキスト類似度、リンク、QAを含む多様なNLPタスクにおける、統合的テキスト-エンティティ埋め込みの有効性を評価する。
• 統合的表現が、意味的テキスト類似度、エンティティリンク、ファクトイド質問応答の各タスクで、既存手法を上回ることを示す。
• 今後の学術的調査を支援するため、コードとモデルを公開する。

提案手法

• モデルは、与えられたテキスト入力に対して関連するKBエンティティの尤度を最大化するためのソフトマックスベースの予測目的を用いる。
• テキスト表現は、単語ベクトルのL2正規化された和に続いて全結合層を適用することで計算される。
• エンティティとテキストのベクトルは、共通のd次元の連続的ベクトル空間に埋め込まれ、類似度はコサイン類似度で測定される。
• モデルは、対応するエンティティアノテーションを備えたWikipediaテキストの大規模コーパス上で、エンドツーエンドに訓練される。
• 下流タスクでは、学習済み表現を入力特徴として用いる多層パーセプトロン（MLP）分類器が使用される。
• 訓練目的は、関連するエンティティがベクトル空間内で対応するテキストに近づくように促進する。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaのエンティティアノテーションを用いて、テキストとエンティティ表現の共同学習がNLPタスクのパフォーマンス向上に寄与するか？
• RQ2 意味的テキスト類似度タスクにおいて、学習された統合的表現は最先端の手法と比べてどのように異なるか？
• RQ3 エンティティリンクおよびファクトイド質問応答タスクにおいて、統合的テキスト-エンティティ埋め込みはどれほどパフォーマンスを向上させるか？
• RQ4 スイープ・グラムのような従来の単語埋め込みとは異なり、学習された表現の特性はどのように異なるか？
• RQ5 統合表現モデルは、エンティティリンクを越えて、より広範なNLP応用に効果的に応用可能か？

主な発見

• 提案されたNTEEモデルは、意味的テキスト類似度タスクで最先端のパフォーマンスを達成し、非教師あり設定でも既存手法を上回った。
• CoNLL 2003およびTAC 2010のデータセットにおいて、学習済み表現を用いた単純なMLP分類器で、エンティティリンクタスクで新たな最先端の結果を達成した。
• ファクトイド質問応答タスクでは、クイズ・ボウルベースのデータセットで最先端のパフォーマンスを達成し、オープンドメインQAにおける有効性を示した。
• 定性的な分析から、学習済み表現はスイープ・グラム単語埋め込みとは意味的に顕著に異なることが示され、特徴的な意味的性質を持つことが示唆された。
• モデルの汎用性のおかげで、最小限のアーキテクチャ変更で多様なNLPタスクへの容易な適応が可能である。
• 著者らは、再現性およびさらなる研究を支援するため、https://github.com/studio-ousia/ntee にてコードと学習済みモデルを公開した。