[論文レビュー] Leveraging Lexical Resources for Learning Entity Embeddings in Multi-Relational Data

Teng Long, Ryan Lowe+2 more|arXiv (Cornell University)|May 18, 2016

Topic Modeling参考文献 21被引用数 3

ひとこと要約

本稿では、外部リソースからの語彙的記述と事前学習済み単語埋め込みを組み合わせることで、多関係的モデルにおけるエンティティ埋め込みの初期化を提案し、性能と収束速度の向上を図る。TransEに適用した結果、WordNetにおける平均順位が212から51にまで低下し、新たなSOTAを達成した。同時に、学習の収束が早くなった。

ABSTRACT

Recent work in learning vector-space embeddings for multi-relational data has focused on combining relational information derived from knowledge bases with distributional information derived from large text corpora. We propose a simple approach that leverages the descriptions of entities or phrases available in lexical resources, in conjunction with distributional semantics, in order to derive a better initialization for training relational models. Applying this initialization to the TransE model results in significant new state-of-the-art performances on the WordNet dataset, decreasing the mean rank from the previous best of 212 to 51. It also results in faster convergence of the entity representations. We find that there is a trade-off between improving the mean rank and the hits@10 with this approach. This illustrates that much remains to be understood regarding performance improvements in relational models.

研究の動機と目的

• 既存の関係的モデルが分布的単語埋め込みに依存しているが、これは稀なエンティティやドメイン固有のエンティティに対してカバーが不足しがちなことに対処するため。
• WordNet や Freebase などの語彙的リソースからの記述文を組み込むことで、関係的モデルにおけるエンティティ埋め込みの初期化を改善すること。
• 語彙的記述が多関係的知識グラフ埋め込みタスクにおけるモデル性能と学習速度の両面で向上するかどうかを評価すること。
• 関係的モデルの性能評価において、平均順位と hits@10 の間のトレードオフを調査すること。
• 一般的なエンティティであっても、語彙的意味を用いたより良い初期化が恩恵をもたらすことを示すこと、これは稀なエンティティに限らない。

提案手法

• WordNet や Freebase などの語彙的リソースからエンティティの記述を取得する。通常、短い定義文や記述文が含まれる。
• 事前学習済み単語埋め込み（例：Word2Vec、GloVe）を用いて、エンティティ記述内の各単語をベクトル表現に変換する。
• 各記述内の単語ベクトルを単純平均することで、エンティティの密なベクトル表現を生成する。
• これらの集約されたベクトルを、ランダム初期化に代えて TransE モデルにおける初期エンティティ埋め込みとして使用する。
• 構造的関係と語彙的意味の両方を活用しながら、初期化済み埋め込みを用いて TransE モデルをエンドツーエンドで学習する。
• 特に hits@10 と平均順位の指標において、先行研究と公平な比較が行えるよう、評価時にフィルタリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 語彙的リソースからのエンティティ記述は、多関係的知識グラフにおける学習済みエンティティ埋め込みの質を向上させることができるか？
• RQ2 語彙的記述を初期化に用いることで、関係的モデルの学習における収束が早くなるか？
• RQ3 語彙的初期化を用いた場合、平均順位と hits@10 の両方の指標でモデルの性能はどのように変化するか？
• RQ4 同じ初期化手法を用いても、WordNet では顕著な向上が見られる一方で、Freebase では僅かな改善にとどまるのはなぜか？
• RQ5 語彙的記述は、稀なエンティティだけでなく、一般的なエンティティに対しても、関係的モデリングにおいてどの程度恩恵をもたらすか？

主な発見

• 提案手法は、WordNet データセットにおいて平均順位51という新たなSOTAを達成した。これは、以前の最高水準212から顕著な向上である。
• 語彙的記述による初期化により、特に WordNet データセットで学習の収束が早くなった。
• Freebase データセットでは、収束が早くなったが、平均順位の向上は僅かにとどまり、最適化の様相やモデル容量の違いが要因である可能性を示唆している。
• 平均順位と hits@10 の間にはトレードオフが観察された。平均順位の向上は、しばしば hits@10 の低下を伴うことがあり、最適化の目的関数が対立している可能性を示している。
• 正しいエンティティが非常に低い順位にランク付けされる「ディスラプション」ケースの発生頻度が低下した。これは平均順位に顕著に影響を与える。
• 結果から、関係が疎な状況では、hits@10 よりも平均順位の方が関係的モデルの評価に信頼性が高いと示唆された。