[論文レビュー] Efficient Probabilistic Logic Reasoning with Graph Neural Networks

Yuyu Zhang, Xinshi Chen+5 more|arXiv (Cornell University)|Jan 29, 2020

Advanced Graph Neural Networks参考文献 34被引用数 36

ひとこと要約

ExpressGNNはマルコフ論理ネットワークとグラフニューラルネットワークを組み合わせ、分散変分推論を実現します。大規模な知識グラフ上で効率的かつ効果的な確率的論理推論を達成します。

ABSTRACT

Markov Logic Networks (MLNs), which elegantly combine logic rules and probabilistic graphical models, can be used to address many knowledge graph problems. However, inference in MLN is computationally intensive, making the industrial-scale application of MLN very difficult. In recent years, graph neural networks (GNNs) have emerged as efficient and effective tools for large-scale graph problems. Nevertheless, GNNs do not explicitly incorporate prior logic rules into the models, and may require many labeled examples for a target task. In this paper, we explore the combination of MLNs and GNNs, and use graph neural networks for variational inference in MLN. We propose a GNN variant, named ExpressGNN, which strikes a nice balance between the representation power and the simplicity of the model. Our extensive experiments on several benchmark datasets demonstrate that ExpressGNN leads to effective and efficient probabilistic logic reasoning.

研究の動機と目的

• 論理ベースの事前知識とデータ駆動型のグラフ表現を組み合わせ、知識グラフ上でのスケーラブルな確率推論を実現する動機づけ。
• ExpressGNNがMLNの推論ネットワークとして機能する効率的な変分EMフレームワークを開発する。
• 論理ルールを活用しつつ、データが不足している長尾の関係やゼロショットの状況にも対応する。
• 産業規模の知識グラフへスケールし、新規エンティティへの一般化をサポートするコンパクトで表現力のあるモデルを提供する。

提案手法

• 知識グラフ上の素朴なGNNと可調整可能なエンティティ埋め込みを組み合わせた二層埋め込み方式としてExpressGNNを提案する。
• 変分EMフレームワークにおける平均場近似で、ExpressGNNをQ_theta(H|O)としてMLNの推論後方分布に用いる。
• Eステップでは、 Ground formulasをサンプリングし局所期待値を活用して計算可能な近似推論を行う。推論ネットワークを導くためのラベル損失による教師信号の追加も任意で行える。
• Mステップでは、パスローログ尤度とマルコフブランケットから計算される勾配を用いてMLN式の重みを最適化する。部分的にサンプルされたコンパクトな勾配戦略を採用する。
• 推論ネットワークは、拡張埋め込み上のロジスティックMLPとしてQ_theta(r(c1,c2))を計算し、エンドツーエンド微分可能な学習を可能にする。
• この設定におけるGNNの表現力に関する理論的正当性を提供し、非同型エンティティを区別するための可調整埋め込みの必要性を正当化する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークベースの推論ネットワークは、前提となる論理規則を活用しつつ、潜在MLN変数の事後分布を効率的に近似できるか？
• RQ2 論理規則の事前知識とデータ駆動型グラフ表現の組み合わせは、大規模で疎な知識グラフ上の確率的推論を改善するか？
• RQ3 提案されたExpressGNNフレームワークは産業規模の知識ベースへスケールし、 unseenな述語に対するゼロショットまたは少数ショット推論をサポートできるか？
• RQ4 MLN推論におけるGNNと可調整埋め込みの使用におけるモデルのコンパクトさと表現力のトレードオフはどうなるか？

主な発見

• ExpressGNNは、密なMLNのグラウンドグラフではなく知識グラフ上で動作することにより、MLNのスケーラブルな推論を可能にする。
• GNN埋め込みと可調整エンティティ埋め込みを組み合わせると、コンパクトでありながら高い表現力を持つ事後分布を得られ、精度とスケーラビリティが向上する。
• ExpressGNN-E（Eステップのみ）は、強力なMLNベースラインと比較してベンチマークデータセット上で競争力のあるまたは優れた推論精度を達成し、データセットサイズの増加にも推論時間が有利に保たれる。
• 可調整埋め込みとGNNの構成は、パラメータ効率と表現力の間で有利なトレードオフを提供し、完全な大規模埋め込み表よりも少ないパラメータで良好な性能を実現する。