[論文レビュー] A Review of Relational Machine Learning for Knowledge Graphs From Multi-Relational Link Prediction to Automated Knowledge Graph Construction

Maximilian Nickel, Kevin Murphy+2 more|arXiv (Cornell University)|Mar 2, 2015

Complex Network Analysis Techniques参考文献 113被引用数 80

ひとこと要約

この論文は、リンク予測および自動知識グラフ構築を目的としたスケーラブルな統計的モデル—テンソル因子分解とパターンマイニング—を焦点として、知識グラフにおける関係的機械学習手法をレビューしている。潜在的および観察可能なモデルを組み合わせることで性能を向上させつつ計算コストを削減できることを示し、GoogleのKnowledge Vaultのようなシステムへのテキストベースの抽出統合も行っている。

ABSTRACT

Relational machine learning studies methods for the statistical analysis of relational, or graph-structured, data. In this paper, we provide a review of how such statistical models can be trained on large knowledge graphs, and then used to predict new facts about the world (which is equivalent to predicting new edges in the graph). In particular, we discuss two different kinds of statistical relational models, both of which can scale to massive datasets. The first is based on tensor factorization methods and related latent variable models. The second is based on mining observable patterns in the graph. We also show how to combine these latent and observable models to get improved modeling power at decreased computational cost. Finally, we discuss how such statistical models of graphs can be combined with text-based information extraction methods for automatically constructing knowledge graphs from the Web. In particular, we discuss Google's Knowledge Vault project.

研究の動機と目的

• 大規模な知識グラフから学習するためのスケーラブルな統計的関係的モデルを調査すること。
• 統計的手法を用いて知識グラフ内の新しい事実（欠落した辺）を予測する課題に取り組むこと。
• 潜在的（テンソル因子分解）および観察可能な（パターンマイニング）モデルを組み合わせることで、効率性と正確性を向上させること。
• 関係的モデルをテキストベースの情報抽出と統合し、自動知識グラフ構築を実現すること。
• これらの手法がGoogleのKnowledge Vaultのような実世界のシステムにどのように応用されるかを示すこと。

提案手法

• マルチリレーションデータを3次元テンソルとしてモデル化し、低ランク表現に分解することで、テンソル因子分解を用いる。
• 知識グラフから頻出する観察可能な部分グラフパターンを抽出することで、関係的推論に用いるパターンマイニングを実施する。
• パターンを用いてテンソル因子分解プロセスをガイドまたは正則化することで、潜在的および観察可能なモデルを統合する。
• 統計的関係的モデルとテキストマイニングパイプラインを統合し、非構造化Webテキストから新しい事実を抽出する。
• エンドツーエンドの知識グラフ構築を示す事例として、Knowledge Vaultフレームワークを活用する。
• 予測精度を維持しながら大規模データセットにスケーリングするための正則化および最適化技術を適用する。

実験結果

リサーチクエスチョン

• RQ1 統計的関係的モデルは、大規模な知識グラフから学習するためにどのようにスケーリング可能か？
• RQ2 潜在的（テンソル因子分解）および観察可能な（パターンマイニング）モデルの相対的および併用効果は何か？
• RQ3 潜在的および観察可能なモデルを組み合わせることで、性能を損なわずに計算コストを削減できるか？
• RQ4 関係的モデルはどのようにテキストベースの情報抽出と統合され、知識グラフの自動構築が可能になるか？
• RQ5 これらの手法は、GoogleのKnowledge Vaultのような実世界の知識グラフプロジェクトにおいて、実用的意味を持つのか？

主な発見

• テンソル因子分解手法により、エンティティおよび関係の低次元埋め込みを学習することで、効果的なリンク予測が可能になる。
• パターンマイニングは、解釈可能で観察可能な関係的ルールを提供し、モデルの一般化性能を向上させ、過学習を低減する。
• 潜在的および観察可能なモデルを組み合わせることで、予測性能が向上し、計算要件が削減される。
• 統計的関係的モデルとテキストマイニングの統合により、非構造化Webデータからスケーラブルかつ自動的に知識グラフを構築できる。
• GoogleのKnowledge Vaultのようなシステムは、これらの手法を大規模で実世界の知識グラフに適用可能であることを示している。
• ハイブリッドアプローチは、単独で使用する場合と比較して、正確性、効率性、解釈可能性のバランスをより良く達成する。