[論文レビュー] Probabilistic Entity Representation Model for Reasoning over Knowledge Graphs

Nurendra Choudhary, Nikhil Rao+3 more|VTechWorks (Virginia Tech)|Oct 26, 2021

Advanced Graph Neural Networks参考文献 18被引用数 6

ひとこと要約

本論文は、知識グラフ内のエンティティを多次元正規分布として表現する新しい手法、確率的エンティティ表現モデル（PERM）を提案する。この手法により、論理的クエリにおける滑らかで微分可能な推論が可能となる。エンティティを平均（μ）と分散-共分散行列（Σ）でパラメータ化することで、和集合、積集合、射影などの閉形式演算が可能となり、エンドツーエンドの連鎖的推論が実現可能となり、論理的推論およびドラッグ再利用のベンチマークにおいて、最先端手法を上回り、F1スコアで最大13.6%の向上を達成する。

ABSTRACT

Logical reasoning over Knowledge Graphs (KGs) is a fundamental technique that can provide efficient querying mechanism over large and incomplete databases. Current approaches employ spatial geometries such as boxes to learn query representations that encompass the answer entities and model the logical operations of projection and intersection. However, their geometry is restrictive and leads to non-smooth strict boundaries, which further results in ambiguous answer entities. Furthermore, previous works propose transformation tricks to handle unions which results in non-closure and, thus, cannot be chained in a stream. In this paper, we propose a Probabilistic Entity Representation Model (PERM) to encode entities as a Multivariate Gaussian density with mean and covariance parameters to capture its semantic position and smooth decision boundary, respectively. Additionally, we also define the closed logical operations of projection, intersection, and union that can be aggregated using an end-to-end objective function. On the logical query reasoning problem, we demonstrate that the proposed PERM significantly outperforms the state-of-the-art methods on various public benchmark KG datasets on standard evaluation metrics. We also evaluate PERM's competence on a COVID-19 drug-repurposing case study and show that our proposed work is able to recommend drugs with substantially better F1 than current methods. Finally, we demonstrate the working of our PERM's query answering process through a low-dimensional visualization of the Gaussian representations.

研究の動機と目的

• 空間的埋め込み（例：ボックス）の知識グラフ推論における限界、特に滑らかでない境界と閉形式でない和集合演算の問題を解決すること。
• 分散標準形（DNF）変換に依存せずに、エンドツーエンドでチェーン可能な論理的推論を可能にすること。
• 確率的分布を用いてエンティティの不確実性と空間的広がりをモデル化することで、不完全で大規模な知識グラフにおける推論性能を向上させること。
• 実世界の応用、特に正確で解釈可能な推薦が不可欠なCOVID-19のドラッグ再利用において、PERMの実用的有用性を示すこと。

提案手法

• エンティティは、平均（μ）と分散-共分散行列（Σ）でパラメータ化された多次元正規分布として表現され、意味的位置と空間的広がりを捉える。
• 射影、積集合、和集合といった論理的演算は、正規分布代数を用いて閉形式で定義され、微分可能で合成可能なクエリ処理を可能にする。
• マハラノビス距離が、エンティティがクエリに関連するかどうかのスコアリングに用いられ、滑らかで確率論的根拠を持つ距離尺度として機能する。
• エンドツーエンドの目的関数が複雑なクエリチェーンを集約し、クエリ表現とエンティティ埋め込みの共同最適化を可能にする。
• すべてのFOE演算に対して閉包性を保つため、クエリの再書き換えを必要とせず、ストリーミングクエリ処理を可能にする。
• 複合クエリ（例：和集合）は、複数のエンティティを一般化する確率密度関数を用いたガウス混合モデルで表現される。

実験結果

リサーチクエスチョン

• RQ1 多次元正規分布を用いた確率的エンティティ表現は、知識グラフ推論における論理的演算の閉形式解を可能にするか？
• RQ2 PERMの滑らかで微分可能な意思決定境界は、ボックスのような剛体な幾何的埋め込みと比較して、推論性能をどのように向上させるか？
• RQ3 PERMは、DNF変換を経ずに、和集合・積集合・射影を含む複雑なクエリを効果的にチェーンできるか？
• RQ4 PERMは、ベンチマーク知識グラフにおける論理的推論タスクで、最先端手法を上回る性能を示すか？
• RQ5 実世界のバイオメディカル応用、例：COVID-19のドラッグ再利用において、PERMはより正確で臨床的に関連性の高いドラッグ推薦を提供できるか？

主な発見

• PERMは、COVID-19のドラッグ再利用タスクにおいて、SOTA手法Q2Bを13.6%上回り、F1スコアが0.251を記録した。
• 同ベンチマークにおいて、PERMはQ2Bに対して精度を11.9%、再現率を5.5%向上させ、CQDに対してはそれぞれ3.8%および3.5%向上させた。
• BQE、Q2B、CQDといった現在のSOTA手法では不可能な、単一のパイプラインで和集合の後に積集合を実行する能力を、PERMは正当に達成した。
• 潜在空間の可視化により、PERMのガウス表現がより広範なクエリ意味を捉えていることが確認され、例として「ヨーロッパ」のような一般エンティティでは分散が高く、一方「ヨーロッパのチューリング賞受賞者」のような特定エンティティでは分散が低い。
• PERMのクエリ処理パイプラインは、低次元の可視化を通じて解釈可能性を示しており、クエリ空間が逐次的演算によってどのように変化するかを明確に示している。
• モデルの閉形式演算により、すべての出力がガウス空間に留まり、エンドツーエンドで集約可能となるため、ストリーミングクエリ処理が可能になった。