[論文レビュー] KBLRN : End-to-End Learning of Knowledge Base Representations with Latent, Relational, and Numerical Features

Alberto García-Durán, Mathias Niepert|arXiv (Cornell University)|Sep 14, 2017

Topic Modeling参考文献 34被引用数 49

ひとこと要約

KBlrn は、深層学習と確率的エキスパートの積（PoE）を用いて、潜在的特徴、関係的特徴、数値的特徴を統合する画期的なエンドツーエンドフレームワークである。FB15k-237 および WN18-rules において最先端手法を上回り、数値的特徴が、特に多数の妥当な補完を含む複雑なクエリにおいて顕著に性能を向上させる。

ABSTRACT

We present KBLRN, a framework for end-to-end learning of knowledge base representations from latent, relational, and numerical features. KBLRN integrates feature types with a novel combination of neural representation learning and probabilistic product of experts models. To the best of our knowledge, KBLRN is the first approach that learns representations of knowledge bases by integrating latent, relational, and numerical features. We show that instances of KBLRN outperform existing methods on a range of knowledge base completion tasks. We contribute a novel data sets enriching commonly used knowledge base completion benchmarks with numerical features. The data sets are available under a permissive BSD-3 license. We also investigate the impact numerical features have on the KB completion performance of KBLRN.

研究の動機と目的

• 手作業で作成されたルールと指数的推論複雑さのため、完全に論理的な知識ベースが非効率的で脆弱であるという限界に対処する。
• 確率的推論とニューラル表現学習を統合することで、従来の統計的関係学習の非効率性と脆弱性を克服する。
• 関係的、潜在的、数値的特徴といった多様な特徴タイプから同時に表現を学習できる統一的でエンドツーエンド微分可能なフレームワークを構築する。
• 実数値の属性といった数値的特徴が、高次数のクエリにおいて特に顕著に知識ベース補完の性能を向上させることを示す。
• 今後の研究におけるこの分野の公平な評価を可能にするために、数値的特徴を備えた新しいベンチマークデータセットを提供する。

提案手法

• 連続的な数値的特徴を微分可能な潜在空間に埋め込むために、径路基底関数（RBF）を用いることで、エンドツーエンド学習を可能にする。
• Amie+ を用いて抽出された論理的論理式（例：長さ1および2のパス）を関係的特徴としてモデル化し、各エンティティペアに対してバイナリインジケータとして表現する。
• 標準的な知識グラフ埋め込み目的関数（例：TransEスタイルのスコア関数）を用いて、エンティティおよび関係の埋め込みを学習し、潜在的特徴として利用する。
• 3つの特徴タイプを確率的エキスパートの積（PoE）モデルを用いて統合し、各エキスパート（関係的、潜在的、数値的）のスコアを合算し、ソフトマックスで正規化する。
• 計算が困難なPoEのパーティション関数をネガティブサンプリングにより近似することで、すべてのコンponentsを効率的かつ微分可能に同時に学習可能にする。
• リンク予測タスクにおけるカテゴリカル交差エントロピー損失を用いて、すべてのコンponentsを同時に更新する形で、エンドツーエンドで全モデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 関係的特徴および潜在的特徴と統合された際、数値的特徴が知識ベース補完の性能にどの程度向上効果をもたらすか。
• RQ2 統一的でエンドツーエンド微分可能なフレームワークは、潜在的、関係的、連続的数値的特徴を効果的に統合できるか。
• RQ3 KBlrn の性能は、1つの正しい補完と多数の正しい補完を持つクエリの種別によってどのように変化するか。
• RQ4 数値的特徴の統合は、訓練データが不完全またはスパースな知識ベースベンチマークにおいても一貫した向上をもたらすか。
• RQ5 標準的な知識ベース補完ベンチマークにおいて、関係的、潜在的、数値的特徴の相対的な寄与度は、予測性能にどの程度寄与するか。

主な発見

• FB15k-237-num において、KBlrn は TransE や DistMult を顕著に上回り、MRR 70.8、MR 43 を達成した。一方、TransE は MRR 26.5、MR 231 にとどまった。
• FB15k-237-num データセットにおいて、KBlrn は PR-AUC 0.958 を達成し、TransE（0.837）や KBlr（0.913）を大きく上回り、優れた精度と再現率を示した。
• 多数の妥当な補完を含むクエリ（例："USA, /location/contains, ?"）において、KBlrn は数値的特徴を統合することで、MRR を 21.0 から 22.8、MR を 201 から 135 に改善し、複雑なケースにおいて顕著な向上を示した。
• 数値的特徴の統合により、FB15k-237 において MRR が相対的に 15.8% 向上した。これは、一般化性能と耐障害性を高める上で数値的特徴が極めて重要であることを示している。
• WN18-rules において、KBlrn は ComplEx（MRR 74.2 対 74.9）と同等の性能を示し、関係的および潜在的特徴を統合することでさらに性能向上が見られた。一方、ASR-ComplEx は ComplEx を上回ることができなかった。
• 「Many」（高次数）とラベル付けされたクエリにおいて、モデルは一貫した向上を示した。数値的特徴により、正解候補と誤り候補をより効果的に区別できるようになった。