[論文レビュー] Connecting Language and Knowledge Bases with Embedding Models for Relation Extraction

Jason Weston, Antoine Bordes+2 more|arXiv (Cornell University)|Jul 30, 2013

Natural Language Processing Techniques被引用数 23

ひとこと要約

本稿では、関係抽出の性能を向上させるために、テキスト表記と知識ベース（KB）トリプルを統合する共同埋め込みモデルを提案する。2つのスコアリング関数を用いる：1つは関係表記をKB関係にマッチングするためのもの、もう1つはKBトリプルのスコアリングのためのもの。テキストとKBデータの両方を共同で学習させることで、NYT+FBベンチマークで最先端の性能を達成し、特に低再現率領域でテキストのみの手法を著しく上回る。

ABSTRACT

This paper proposes a novel approach for relation extraction from free text which is trained to jointly use information from the text and from existing knowledge. Our model is based on two scoring functions that operate by learning low-dimensional embeddings of words and of entities and relationships from a knowledge base. We empirically show on New York Times articles aligned with Freebase relations that our approach is able to efficiently use the extra information provided by a large subset of Freebase data (4M entities, 23k relationships) to improve over existing methods that rely on text features alone.

研究の動機と目的

• テキスト的証拠と構造化された知識ベース（KB）トリプルを共同で活用することで、関係抽出の性能を向上させること。
• 従来の手法が弱い自己教師的テキスト特徴に依存するという限界を是正すること。
• 大規模KBから学習することで、未観測の（h,r,t）トリプルへの一般化を可能にすること。
• テキスト表記、エンティティ、KB関係を一貫してスコアリングできる統一された埋め込み空間を設計すること。
• 外部のKBデータを統合することで性能が向上すること、特に再現率が低い領域で精度が重要となる状況においてその有効性を示すこと。

提案手法

• モデルは2つのスコアリング関数を用いる：$ S_{m2r}(m,r) = \mathbf{f}(m)^\top \mathbf{r} $ は、学習された単語埋め込みを介して関係表記をKB関係にマッピングする。
• 関数 $ \mathbf{f}(m) = \mathbf{W}^\top \Phi(m) $ は、学習された重み行列 $ \mathbf{W} $ を用いて、単語のウィンドウを $ k $-次元の埋め込み空間に投影する。
• 2番目のスコアリング関数 $ \tilde{S}_{kb}(h,r,t) $ は、共有されたベクトル空間内のエンティティおよび関係の埋め込みを用いて、KBトリプル $ (h,r,t) $ の妥当性を評価する。
• 最終的な予測は両スコアの組み合わせで得られる：$ S_{m2r+kb}(h,\hat{r}_{h,t},t) = \sum_{m \in \mathcal{M}_{h,t}} S_{m2r}(m,\hat{r}_{h,t}) + \tilde{S}_{kb}(h,\hat{r}_{h,t},t) $。
• モデルは確率的勾配降下法（SGD）を用いて学習され、埋め込み次元数 $ k=50 $ と、2つの構成要素ごとに別々の学習率が設定されている。
• ハイパーパramータのチューニングには検証セットが用いられ、KBスコアリング関数のキャリブレーションに温度パramータ $ t=10 $ が使用された。

実験結果

リサーチクエスチョン

• RQ1 テキスト表記と知識ベーストリプルからの共同学習が、テキストのみのモデルを上回る関係抽出性能を実現できるか？
• RQ2 大規模KBを活用することで、未観測の（h,r,t）トリプルへの一般化はどの程度効果的に可能か？
• RQ3 構造化されたKBデータを統合することで、再現率が低い領域（精度が重要となる領域）で性能が向上するか？
• RQ4 統一された埋め込み空間が、テキスト的関係表記と形式的なKB関係を効果的に接続できるか？
• RQ5 同じ評価プロトコル下で、最先端の手法と比較して、本モデルの性能はどの程度か？

主な発見

• 提案手法である Wsabie M2R+FB は、NYT+FBベンチマークで最先端の性能を達成し、すべての先行手法を上回っている。特に再現率が低い領域（0–0.1）で顕著な優位性を示す。
• KBトリプルの追加により性能が著しく向上：Wsabie M2R+FB はテキストのみの Wsabie M2R モデルおよびすべてのベースライン（Hoffmann や mimlre を含む）を上回る。
• モデルは未観測のエンティティペアに対しても効果的に一般化している。これは、テストセットのエンティティペアをすべてKBから除外してフィルタリングしたため、記憶（マッピング）の可能性を排除している。
• 400万エンティティと23,000関係を用いたKBスコアリング関数 $ \tilde{S}_{kb} $ の学習には2日間を要したが、一方で表記モデルの学習は5分で完了した。
• 本手法は、テキストとKB間のエンティティセットのアライメントを必要とせず、Freebaseの大規模サブセット（400万エンティティ、23,000関係）を用いても、ロバストでスケーラブルであることが示された。
• 性能向上は再現率が低い領域で最も顕著であり、特に重要な抽出シナリオにおける精度向上が確認された。