[論文レビュー] Jointly Embedding Relations and Mentions for Knowledge Population

Miao Fan, Kai Cao+2 more|arXiv (Cornell University)|Apr 7, 2015

Topic Modeling参考文献 15被引用数 6

ひとこと要約

本論文は、知識ベース内のエンティティ、関係、およびテキスト的表記語の低次元ベクトル表現を同時に学習する統合関係表記埋め込み（JRME）モデルを提案する。これにより、構造化された知識と非構造化されたテキストの間で統一された表現学習が可能になる。このモデルは最先端の性能を達成し、既存の手法（IIKE や TME と比較して）NELL データセットにおいて平均順位を 20% 減少させ、Hit@10 および Hit@1 スコアを向上させた。

ABSTRACT

This paper contributes a joint embedding model for predicting relations between a pair of entities in the scenario of relation inference. It differs from most stand-alone approaches which separately operate on either knowledge bases or free texts. The proposed model simultaneously learns low-dimensional vector representations for both triplets in knowledge repositories and the mentions of relations in free texts, so that we can leverage the evidence both resources to make more accurate predictions. We use NELL to evaluate the performance of our approach, compared with cutting-edge methods. Results of extensive experiments show that our model achieves significant improvement on relation extraction.

研究の動機と目的

• 構造化された知識ベースと非構造化された自由テキストとの間の関係抽出のギャップを埋める。
• 知識リポジトリとテキスト的表記の間の非均質性に対処し、それらが相互に証拠を共有できることを制限する。
• エンティティ、関係、および表記語の埋め込みを統合的に学習することで、関係予測の正確性を向上させる。
• NELL が自動的に生成した表記からのテキスト的証拠に加え、知識ベースの三元組を活用する。
• 多様な評価プロトコル下で、既存の最先端手法を上回る関係抽出性能を達成する。

提案手法

• 知識三元組内のエンティティおよび関係、およびテキスト的関係表記内の語の共有された低次元ベクトル表現を学習する統合埋め込みモデル（JRME）を提案する。
• マージンに基づく損失関数を用いて統合埋め込み空間を最適化し、知識ベース埋め込み（KBE）、テキストベース表記埋め込み（TME）、および統合モデル（JRME）のそれぞれに別々のマージンを設定する。
• ヘッドエンティティとテールエンティティ、およびそれらの関係の類似度をベクトル演算によって統一された埋め込み空間でモデル化する。
• 知識ベースの信念とそれに対応するテキスト的表記を組み合わせて、NELL-50K および NELL-5M の2つの NELL データセットで学習する。
• ハイパーパramータのチューニングに検証セットを用い、次元 d=100、マージン α=1.0、β=1.0、γ=2.0 を設定する。
• 関係予測の性能評価にランクベースの指標（平均順位、Hit@10、Hit@1）を用いる。

実験結果

リサーチクエスチョン

• RQ1 知識ベースの三元組とテキスト的関係表記の埋め込みを統合的に学習することで、関係抽出の正確性が向上するか？
• RQ2 表記からのテキスト的証拠を統合することで、知識グラフやテキストに依存するモデルと比較して、性能がどの程度向上するか？
• RQ3 提案された JRME モデルは、TransE や KRE、TME、IIKE といった最先端手法と比較して、関係予測タスクでどの程度優れているか？
• RQ4 特に NELL-5M のような大規模データセットにおいて、ノイズやスケーリングの変動に対して、モデルはどの程度頑健か？
• RQ5 統一されたベクトル空間表現は、構造化されたデータソースと非構造化されたデータソースの間で、情報の圧縮と交換を効果的に行えるか？

主な発見

• NELL-50K データセットでは JRME が平均順位 6.2 を達成し、IIKE（7.5）や TME（11.5）を上回った。
• NELL-5M では JRME が平均順位 3.0 を達成し、TransE（77.1）や KRE（57.5）を著しく上回った。
• NELL-50K では Hit@10 が 87.8% に向上し、NELL-5M では 96.7% に達した。これは IIKE（81.8% および 82.6%）や TME（80.0% および 96.3%）を上回った。
• NELL-50K では Hit@1 スコアが 60.2%、NELL-5M では 68.0% を達成し、IIKE（56.8% および 53.2%）や TME（56.0% および 63.6%）を上回った。
• モデルはノイズやスケーリングの変動に対して頑健であり、中規模（NELL-50K）および大規模（NELL-5M）の両方のデータセットで高い性能を維持した。
• 知識ベースの関係とテキスト的表記の統合学習により、最先端の IIKE モデルと比較して平均順位が相対的に 20% 向上した。