[論文レビュー] Combining Two And Three-Way Embeddings Models for Link Prediction in Knowledge Bases

Alberto García-Durán, Antoine Bordes+2 more|arXiv (Cornell University)|Jun 2, 2015

Complex Network Analysis Techniques被引用数 10

ひとこと要約

本稿では、二方向（例：TransE）および三方向（例：Trigram）の知識グラフ埋め込みモデルを、事前学習と線形結合またはファインチューニングの二段階訓練プロセスを通じて統合する新規なリンク予測モデルTatecを提案する。高容量モデルと単純なモデルを統合することで、4つのベンチマークで最先端の性能を達成し、頻度の高い関係およびレアな関係の両方で個々のモデルを上回る性能を発揮する。

ABSTRACT

This paper tackles the problem of endogenous link prediction for Knowledge Base completion. Knowledge Bases can be represented as directed graphs whose nodes correspond to entities and edges to relationships. Previous attempts either consist of powerful systems with high capacity to model complex connectivity patterns, which unfortunately usually end up overfitting on rare relationships, or in approaches that trade capacity for simplicity in order to fairly model all relationships, frequent or not. In this paper, we propose Tatec a happy medium obtained by complementing a high-capacity model with a simpler one, both pre-trained separately and then combined. We present several variants of this model with different kinds of regularization and combination strategies and show that this approach outperforms existing methods on different types of relationships by achieving state-of-the-art results on four benchmarks of the literature.

研究の動機と目的

• 関係の頻度や構造に大きなばらつきがある不完全な知識ベースにおけるリンク予測の課題に対処すること。
• 特に稀な関係に対して顕著なモデルの容量と一般化性能のトレードオフを克服すること。
• 高容量モデルと単純な埋め込みモデルを効果的に統合する統一フレームワークを構築し、多様な関係タイプにわたる性能向上を図ること。
• 正則化スキーム（ソフト vs. ハード）および組み合わせ戦略（線形結合 vs. ファインチューニング）の違いがハイブリッドモデルの性能に与える影響を評価すること。
• 異なるデータ特性を有する複数のベンチマークにおいて、提案手法の汎用性と頑健性を実証すること。

提案手法

• 知識ベース上で別々の二方向（例：TransE）および三方向（例：Trigram）埋め込みモデルを、それぞれ独立した埋め込み空間を用いて事前学習する。
• モデルの複雑さを制御し、過学習を防ぐために、事前学習段階でソフトまたはハード正則化を適用する。
• 線形結合戦略により事前学習済みモデルを統合し、最終的なスコアを個々のモデルスコアの重み付き和とする。
• リンク予測性能を最適化するための共同目的関数を用いて、統合モデルをエンドツーエンドでファインチューニングする。
• 二段階のトレーニングパイプラインを採用する：まず個々のコンponentを事前学習し、その後で統合してファインチューニングする。
• 特に低頻度の関係に対して一般化性能を向上させるために、エンティティおよび関係固有の正則化項（例：L2、マージンベース）を組み込む。

実験結果

リサーチクエスチョン

• RQ1 高容量の二方向モデルと単純な三方向モデルを組み合わせることで、多様な関係タイプにわたるリンク予測性能が向上するか？
• RQ2 正則化スキームの選択（ソフト vs. ハード）が統合モデルの性能に顕著な影響を及ぼすか？
• RQ3 事前学習済みモデルの線形結合は十分か、それとも統合アーキテクチャのエンドツーエンドファインチューニングがより優れた結果をもたらすか？
• RQ4 提案手法は、スタンドアロンモデルと比較して、稀な関係に対してどのように性能を発揮するか？
• RQ5 ハイブリッドモデルは、データスパarsityや関係タイプの異なる多様な知識ベースベンチマークにおいて、効果的に一般化できるか？

主な発見

• Tatecは、UMLS、Kinships、FB15k、SVOの4つのベンチマークデータセットで最先端の性能を達成し、個々の二方向および三方向モデルを上回る。
• Tatecの線形結合バージョン（Tatec-linear-comb）は、各データセットでグリッドサーチによる最適なハイパーパramータが得られ、一貫して高い性能を発揮する。
• ソフト正則化はハード正則化よりもわずかに優れた性能を示すが、両者とも有効であり、ソフト正則化は追加の1つのハイパーパramータを必要とする。
• 特に過学習や容量不足により性能が低下しがちな稀な関係および1対1関係において、モデルの性能が顕著に向上する。
• 二段階トレーニング戦略（事前学習 → 統合）は、初期から共同学習を行う場合よりも一般化性能が優れている。
• アブレーションスタディにより、モデルの統合はいずれのコンponentを単独で使用するよりも効果的であることが確認され、特にデータ分布の不均衡な状況下でも有効である。