[論文レビュー] Symbolic Querying of Vector Spaces: Probabilistic Databases Meets Relational Embeddings

Tal Friedman, Guy Van den Broeck|arXiv (Cornell University)|Feb 24, 2020

Bayesian Modeling and Causal Inference参考文献 39被引用数 4

ひとこと要約

本稿では、不完全で不確実なデータに対する効率的で原理的な確率的クエリを可能にするために、確率的データベース（PDB）と関係埋め込みを統合する新規な関係埋め込みモデルTractORを提案する。エンティティおよび関係をベクトルとして埋め込み、PDBの意味論と整合する要因分解構造を強制することで、TractORは複雑なクエリに対しても扱いやすい推論を可能にするとともに、強固な確率的基礎を維持する。ベースラインと比較してクエリ予測性能に優れ、非負のパラメータ制約下でも頑健性を示す。

ABSTRACT

We propose unifying techniques from probabilistic databases and relational embedding models with the goal of performing complex queries on incomplete and uncertain data. We formalize a probabilistic database model with respect to which all queries are done. This allows us to leverage the rich literature of theory and algorithms from probabilistic databases for solving problems. While this formalization can be used with any relational embedding model, the lack of a well-defined joint probability distribution causes simple query problems to become provably hard. With this in mind, we introduce \TO, a relational embedding model designed to be a tractable probabilistic database, by exploiting typical embedding assumptions within the probabilistic framework. Using a principled, efficient inference algorithm that can be derived from its definition, we empirically demonstrate that \TOs is an effective and general model for these querying tasks.

研究の動機と目的

• 既存の関係埋め込みモデルの限界に対処すること。これらは一貫した確率的意味論を欠き、リンク予測を超える複雑なクエリ処理に苦労する。
• 不完全なデータから意味のある確率を構築するのに脆弱な確率的データベースの問題を克服すること。特に、複雑なクエリを効率的に処理する点で。
• 関係埋め込みの予測力とPDBの形式的確率的意味論を統合し、不確実で不完全な関係的データに対して整合的かつ扱いやすい推論を可能にすること。
• リンク予測にとどまらず、保証された扱いやすさと原理的な推論を備えた複雑なクエリ評価を可能にするモデルを設計すること。

提案手法

• 関係埋め込みの下位意味論として確率的データベース（PDB）フレームワークを形式化し、独立性の仮定が明確で確率的に整合的であることを保証する。
• エンティティおよび関係をベクトルとして埋め込み、PDBの要因分解構造を尊重するスコア関数を用いることで、扱いやすいPDBとなるように設計された関係埋め込みモデルTractORを導入する。
• 埋め込みモデルで一般的な要因分解仮定（例：DistMult）を活用し、連合確率分布が扱いやすく、効率的に計算可能であることを保証する。
• モデル定義から効率的な推論アルゴリズムを導出し、全確率空間上でクエリの確率を高速かつ正確に計算可能にする。
• 標準的な埋め込み技術（負例サンプリング、マックスマージン損失）を用いてTractORを学習するが、下流の推論においてPDB意味論と互換性を保つ。
• AUCなどの指標を用いて、DistMult や TransE などのベースラインと比較し、複雑なクエリ予測タスクでTractORを評価する。

実験結果

リサーチクエスチョン

• RQ1 リンク予測に加え、扱いやすい推論を備えた複雑な確率的クエリを処理できる関係埋め込みモデルを設計することは可能か？
• RQ2 確率的データベースの確率的意味論を、関係埋め込みの予測力と効果的に統合するにはどうすればよいか？
• RQ3 埋め込みモデルにおけるどのような構造的仮定を活用すれば、不確実なデータに対する確率的推論の扱いやすさを保証できるか？
• RQ4 PDB互換の要因分解を強制することで、標準的な埋め込みモデルと比較して、クエリ応答の効率性と信頼性がどの程度向上するか？

主な発見

• TractORは、特に複雑なクエリ設定において、DistMult や TransE などのベースラインと同等またはそれ以上の性能を達成し、クエリ予測タスクで優れた性能を示す。
• パラメータを非負に制約しても、TractORは強固な性能を維持するが、TractOR+と比較してわずかに性能が低下しており、負の埋め込みが表現力と学習安定性を向上させることを示唆している。
• 実験的結果から、TractORはリンク予測にとどまらず、複雑なクエリに対しても有効であることが示された。確率分布を完全に表現できる能力のおかげで、効率的かつ正確な推論が可能になる。
• TractORとTractOR+の差は、モデルの表現力の重要性を浮き彫りにする。負の値を許容することで、リンク予測の性能が著しく向上し、結果としてクエリ予測性能も向上する。
• TractORの設計により、要因分解構造のおかげで効率的な推論が可能となり、標準的なPDBでは証明的に困難な複雑な確率的推論を実現できる。