[論文レビュー] Logical Entity Representation in Knowledge-Graphs for Differentiable Rule Learning

Chi Han, Qizheng He+4 more|arXiv (Cornell University)|May 22, 2023

Data Quality and ManagementDecision Sciences被引用数 3

ひとこと要約

本稿では、知識グラフ内のエンティティの周辺の文脈的サブグラフ情報を符号化する微分可能で解釈可能な確率論的論理関数のベクトル表現である論理的エンティティ表現（LERP）を提案する。確率論的論理規則学習にLERPを統合することで、より表現力のある規則を学習し、知識グラフ補完ベンチマークで最先端の性能を達成した。これは、ルールベースのベースラインやTransEのようなブラックボックス手法を上回り、明示的な論理規則による解釈可能性を維持している。

ABSTRACT

Probabilistic logical rule learning has shown great strength in logical rule mining and knowledge graph completion. It learns logical rules to predict missing edges by reasoning on existing edges in the knowledge graph. However, previous efforts have largely been limited to only modeling chain-like Horn clauses such as $R_1(x,z)\land R_2(z,y)\Rightarrow H(x,y)$. This formulation overlooks additional contextual information from neighboring sub-graphs of entity variables $x$, $y$ and $z$. Intuitively, there is a large gap here, as local sub-graphs have been found to provide important information for knowledge graph completion. Inspired by these observations, we propose Logical Entity RePresentation (LERP) to encode contextual information of entities in the knowledge graph. A LERP is designed as a vector of probabilistic logical functions on the entity's neighboring sub-graph. It is an interpretable representation while allowing for differentiable optimization. We can then incorporate LERP into probabilistic logical rule learning to learn more expressive rules. Empirical results demonstrate that with LERP, our model outperforms other rule learning methods in knowledge graph completion and is comparable or even superior to state-of-the-art black-box methods. Moreover, we find that our model can discover a more expressive family of logical rules. LERP can also be further combined with embedding learning methods like TransE to make it more interpretable.

研究の動機と目的

• 既存の規則学習手法が鎖状の Horn 範図にのみ対応し、エンティティの周辺の文脈的サブグラフ情報を無視するという限界を是正すること。
• 知識グラフ内のエンティティの局所的サブグラフから論理的パターンを捉える微分可能で解釈可能な表現を開発すること。
• 文脈的な関係構造を確率論的論理規則学習に組み込むことで、知識グラフ補完を向上させること。
• TransE などの埋め込みモデルと LERP を組み合わせることで、より解釈可能で一般化性の高い表現を実現するハイブリッド学習を可能にすること。

提案手法

• LERP は、各エンティティをその隣接サブグラフ上の確率論的論理関数のベクトルとして表現する。たとえば、∃z′ is_son_of(y,z′) のようなものである。
• この手法は LERP の構成要素を用いて論理規則を定式化し、規則と表現の両方に対して微分可能最適化を可能にする。
• 正則化を含む微分可能な損失関数を用いて、エンドツーエンドで LERP と規則重みを最適化する統合学習フレームワークを採用する。
• モデルは、ハイブリッドアーキテクチャにより LERP を TransE と統合する：Embed′(e) = Embed(e) + R·L^Θ(e)、ここで R は LERP を埋め込み空間にマッピングする。
• 規則重みの ℓ2 ノルムとエントロピー正則化を導入することで、スパarsity と解釈可能性を促進する。
• 行列射影（ムーア＝ペネローズ逆行列）を通じて、学習された論理関数をエンティティ関係と埋め込みベクトルに結びつけることで、解釈可能性を支援する。

Figure 1: Incorporating contextual information of entities can benefit missing link prediction.

実験結果

リサーチクエスチョン

• RQ1 エンティティ表現に局所的サブグラフの文脈を組み込むことで、知識グラフにおける論理的規則学習の表現力が向上するか？
• RQ2 微分可能で解釈可能なエンティティ表現（例：LERP）は、既存の規則学習手法やブラックボックス埋め込みモデルを上回る知識グラフ補完性能を達成できるか？
• RQ3 LERP をどのように効果的に TransE などのニューラル埋め込みモデルと組み合わせ、解釈可能性と一般化性を向上させられるか？
• RQ4 LERP はどのような論理的規則をモデルが発見可能となり、それらは現実世界の関係的パターンとどのように関連するか？

主な発見

• 提案モデルに LERP を適用した結果、知識グラフ補完ベンチマークで既存の規則学習ベースラインを上回り、AUC および MRR スコアが向上した。
• LERP により、存在記号を含む複雑な関係的パターンを含む、より表現力のある論理的規則の族が学習可能となった。
• ハイブリッド型の TransE+LERP モデルは、Family のような小規模データセットにおいても、vanilla TransE よりも優れた一般化性能を示した。これは、LERP による論理的正則化のおかげである。
• LERP にエントロピー正則化を追加することで、学習された論理関数のスパarsity と明確性が促進され、性能がさらに向上した。
• 学習された論理関数を特定の関係（例：いとこの娘、娘）に結びつけることで、モデルの解釈可能性が裏付けられた。また、それらが意味的意味と整合していることが示された。
• 実験的結果から、LERP を TransE と効果的に組み合わせられ、精度と解釈可能性の両方を満たすモデルが得られ、最先端のブラックボックス手法を上回るか同等の性能を達成した。

Figure 2: Illustration of our construction of logical entity function and representation. (a): Each logical function is defined in a recursive manner with operations defined in Definition 1 (b): we build LERP in a feed-forward style, by constructing intermediate logical functions column by column.