[論文レビュー] Knowledge Hypergraph Embedding Meets Relational Algebra

Bahare Fatemi, Perouz Taslakian+2 more|arXiv (Cornell University)|Feb 18, 2021

Advanced Graph Neural Networks参考文献 22被引用数 6

ひとこと要約

本稿では、関係代数演算（リネーム、プロジェクション、セレクション、ユニオン、差集合）をニューラルネットワークフレームワークに統合した知識ハイパーグラフ埋め込みモデルReAlEを提案する。このモデルは理論的に完全表現可能であり、実世界および合成された知識ハイパーグラフデータセットにおいて、最新の手法を上回ることを実証的に示した。特に、高次の関係的抽象化を捉える能力に優れている。

ABSTRACT

Embedding-based methods for reasoning in knowledge hypergraphs learn a representation for each entity and relation. Current methods do not capture the procedural rules underlying the relations in the graph. We propose a simple embedding-based model called ReAlE that performs link prediction in knowledge hypergraphs (generalized knowledge graphs) and can represent high-level abstractions in terms of relational algebra operations. We show theoretically that ReAlE is fully expressive and provide proofs and empirical evidence that it can represent a large subset of the primitive relational algebra operations, namely renaming, projection, set union, selection, and set difference. We also verify experimentally that ReAlE outperforms state-of-the-art models in knowledge hypergraph completion, and in representing each of these primitive relational algebra operations. For the latter experiment, we generate a synthetic knowledge hypergraph, for which we design an algorithm based on the Erdos-R'enyi model for generating random graphs.

研究の動機と目的

• 関係代数演算を用いて高次の関係的抽象化を捉える知識ハイパーグラフ埋め込みモデルの設計。
• 既存のモデルが非二項関係の推論において限界を示すのを補うために、関係代数からの手続き的意味論を統合すること。
• ハイパーグラフにおける基本的な関係演算の表現の理論的表現力と実証的有効性を保証すること。
• 実世界および合成された知識ハイパーグラフにおける性能評価、およびウィンドウサイズに関するアブレーションスタディ。

提案手法

• ReAlEは埋め込み要素間の相互作用をモデル化するためのウィンドウド相互作用機構を用い、合成的推論を可能にする。
• リネーム、プロジェクション、セレクション、ユニオン、集合差といった原始的な関係代数演算をシミュレートするための学習可能なパラメータを適用する。
• 関係は、関係代数演算に対応する学習可能な変換行列として表現される。
• 評価のための真の操作を制御するために、Erdős-Rényiに基づくアルゴリズムを用いて合成された知識ハイパーグラフを生成する。
• 表現力の向上を図るため、関係固有のウィンドウを介して埋め込みを集約するウィンドウドスコアリング関数を採用する。
• ハイパーパramータチューニングにはウィンドウサイズが含まれており、これがパフォーマンスに顕著な影響を与えることが示された。

実験結果

リサーチクエスチョン

• RQ1 ニューラル埋め込みモデルは、知識ハイパーグラフにおけるリネーム、プロジェクション、集合差といった基本的な関係代数演算を表現できるか？
• RQ2 関係代数プリミティブを統合することで、知識ハイパーグラフ補完における一般化性能とリンク予測性能が向上するか？
• RQ3 合成ハイパーグラフにおける関係代数演算の深さと種別に応じて、モデルのパフォーマンスはどのように変化するか？
• RQ4 ReAlEにおける埋め込みコンポONENT間の相互作用に最適なウィンドウサイズは何か？

主な発見

• ReAlEは、JF17K、FB-AUTO、M-FB15Kの3つの実世界データセットにおいて、平均逆順位（MRR）の観点で最先端の手法を上回った。
• 合成されたREL-ERデータセットでは、リネーム、プロジェクション、セレクション、ユニオン、差集合のすべての関係代数演算タイプにおいて、優れたパフォーマンスを達成した。
• 基本的関係においても優れたパフォーマンスを示し、ベースの表現の有効な学習が行われていることが示された。
• アブレーションスタディの結果、ウィンドウサイズがパフォーマンスに顕著な影響を与えることが判明し、最適なパフォーマンスはウィンドウサイズが2〜4の間で達成された。
• テストセットにセレクションタプルが存在しないのはその頻度が低いためであるが、ReAlEは依然として訓練段階でそれらを効果的に学習していた。