[論文レビュー] Representation Learning of Entities and Documents from Knowledge Base Descriptions

Ikuya Yamada, Hiroyuki Shindo+1 more|arXiv (Cornell University)|Jun 7, 2018

Topic Modeling参考文献 29被引用数 13

ひとこと要約

TextEnt は、Wikipedia ベースの知識ベースドキュメントを用いて、記述されたターゲットエンティティを予測するように学習することで、エンティティとドキュメントの共同分散表現を学習するニューラルネットワークモデルである。語とエンティティを共有のベクトル空間に統合して埋め込むことで、細粒度エンティティタイプ分類およびマルチクラステキスト分類タスクで最先端の性能を達成し、テキストとエンティティの両方からの意味的信号の有効な統合により、従来手法を上回る。

ABSTRACT

In this paper, we describe TextEnt, a neural network model that learns distributed representations of entities and documents directly from a knowledge base (KB). Given a document in a KB consisting of words and entity annotations, we train our model to predict the entity that the document describes and map the document and its target entity close to each other in a continuous vector space. Our model is trained using a large number of documents extracted from Wikipedia. The performance of the proposed model is evaluated using two tasks, namely fine-grained entity typing and multiclass text classification. The results demonstrate that our model achieves state-of-the-art performance on both tasks. The code and the trained representations are made available online for further academic research.

研究の動機と目的

• 知識ベースの記述から直接、エンティティとドキュメントの共同分散表現を学ぶ手法を開発すること。
• 語レベルの意味論に加えて、一意に識別されたエンティティを組み込むことで、自然言語における曖昧さと語彙的変異を解消すること。
• 細粒度エンティティタイプ分類およびマルチクラステキスト分類タスクにおいて、学習された表現の品質を評価すること。
• 下流の NLP タスク用に、エンティティに注意を向けた表現を用いた汎用的なドキュメント符号化を可能にすること。
• コードと事前学習済み表現を公開し、今後の学術的調査を支援すること。

提案手法

• モデルは、語と文脈的エンティティの注釈を含むドキュメントを処理し、記述されたターゲットエンティティを予測するニューラルネットワークアーキテクチャを用いる。
• 各次元 d の単語埋め込みと文脈的エンティティ埋め込みの平均プーリングにより、ドキュメント表現が計算される。
• ドキュメント表現とエンティティ埋め込みベクトルのドット積に基づいて、各エンティティがターゲットである確率がソフトマックス分類器で計算される。
• モデルは大規模な Wikipedia ドキュメント上でエンドツーエンドに訓練され、バックプロパゲーションによるパラメータ更新で交差エントロピー損失を最小化する。
• テストドキュメント内のエンティティ表記は、トレーニング時と同じ方法でエンティティリンクシステムを用いて自動的に注釈が付けられる。
• 最終的なドキュメント表現は、語ベースとエンティティベースの表現を組み合わせることで形成され、意味的信号の共同モデリングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 知識ベースの記述からエンティティとドキュメントの表現を共同で学習することで、下流の NLP タスクのパフォーマンスが向上するか？
• RQ2 エンティティに注意を向けた表現は、テキストにおける語彙的曖昧さと同義語の解消にどの程度効果的か？
• RQ3 エンティティ情報の統合により、語のみのモデルと比較して、細粒度エンティティタイプ分類のパフォーマンスが向上するか？
• RQ4 学習された表現は、マルチクラステキスト分類のための強力な汎用エンコーダーとして機能できるか？
• RQ5 語レベルの埋め込みのみに比べて、エンティティベースの信号はどの程度、意味的表現を強化するか？

主な発見

• TextEnt は、細粒度エンティティタイプ分類タスクで最先端のパフォーマンスを達成し、既存手法を大きく上回っている。
• 20 Newsgroups および R8 テキスト分類データセットにおいて、TextEnt は強力なベースラインを上回り、汎用ドキュメントエンコーダーとしての有効性を示している。
• モデルは、ベクトル空間内での最近傍のエンティティが文の内容と意味的に関連しているように、文をベクトル空間に符号化できており、定性的な例で示されている。
• 語とエンティティの両方の信号を用いることで、特に多義語解消や語彙的変異の処理において、より頑健で曖昧さの少ない表現が得られる。
• 訓練済みモデルとコードが公開されており、エンティティに注意を向けた表現学習分野における再現可能性とさらなる研究を可能にしている。
• Wikipedia2Vec や他のベースラインモデルと比較して、TextEnt は両方の評価タスクで優れたパフォーマンスを示しており、共同予測の設計選択の妥当性を裏付けている。