[論文レビュー] Can Graph Neural Networks Help Logic Reasoning?

Yuyu Zhang, Xinshi Chen+5 more|arXiv (Cornell University)|Jun 5, 2019

Bayesian Modeling and Causal Inference参考文献 27被引用数 10

ひとこと要約

本稿では、マークフォック・ロジック・ネットワーク（MLN）におけるスケーラブルで効果的な確率論的論理推論を可能にする、インダクティブなグラフニューラルネットワーク（GNN）とチューナブルでトランスダクティブな埋め込みを組み合わせたハイブリッドモデル、ExpressGNNを提案する。論理式によって生じる非対称性に対処することで、低データ環境下においても教師あり手法を著しく上回り、未学習の関係に対しても強力なインダクティブ一般化を示す。

ABSTRACT

Effectively combining logic reasoning and probabilistic inference has been a long-standing goal of machine learning: the former has the ability to generalize with small training data, while the latter provides a principled framework for dealing with noisy data. However, existing methods for combining the best of both worlds are typically computationally intensive. In this paper, we focus on Markov Logic Networks and explore the use of graph neural networks (GNNs) for representing probabilistic logic inference. It is revealed from our analysis that the representation power of GNN alone is not enough for such a task. We instead propose a more expressive variant, called ExpressGNN, which can perform effective probabilistic logic inference while being able to scale to a large number of entities. We demonstrate by several benchmark datasets that ExpressGNN has the potential to advance probabilistic logic reasoning to the next stage.

研究の動機と目的

• エンティティ数の増加に伴い組み合わせ的に増大する大規模なマークフォック・ロジック・ネットワーク（MLN）における確率的推論の計算非効率性に対処すること。
• グラフニューラルネットワーク（GNN）が、表現力の限界を有するにもかかわらず、知識ベースの確率論的論理推論を効果的に表現できるかどうかを調査すること。
• 標準的なGNNを用いたMLN推論において、非対称な論理式が引き起こすパrameter化の不一致を克服すること。
• モデルの表現力とパrameter効率性のバランスを取る、スケーラブルなハイブリッドアーキテクチャを構築すること。
• 提案手法が、特にデータが乏しい条件下において、トランスダクティブおよびインダクティブな設定の両方で効果的かつ効率的な推論を可能にすることを示すこと。

提案手法

• ExpressGNNは、エンティティと観測された事実の二部グラフとして表現される知識ベースから、ノードレベルの表現をインダクティブなGNNコンponentによって学習する。
• 標準的なGNNが捉えきれない、MLNにおける論理式が引き起こす非対称性を補正するため、別個のトランスダクティブでチューナブルな埋め込みコンponentを導入する。
• 推論には平均場近似を採用し、GNNとチューナブルな埋め込みを用いてMLNの潜在変数上の変分分布を定義する。
• 論理式は重み付きポテンシャル関数を通じて統合され、式の重みは観測された事実における判別的損失を用いたエンド・ツー・エンド学習で学習される。
• アーキテクチャはパrameter効率性を考慮して設計されており、純粋にトランスダクティブな手法と比較してパラメータ数を削減する。
• トランスダクティブおよびインダクティブ学習の両方をサポートしており、学習中に見られなかった新しいエンティティや関係への一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一階論理式が引き起こす非対称性を考慮すると、標準的なグラフニューラルネットワーク（GNN）は、マークフォック・ロジック・ネットワーク（MLN）における確率論的論理推論を効果的にサポートできるか？
• RQ2 標準的なGNNがMLN推論において一貫性のないパラメータ化を生じる理由は何か？この失敗の背後にある構造的制限は何か？
• RQ3 インダクティブなGNNとチューナブルな埋め込みを組み合わせたハイブリッドアーキテクチャは、純粋にトランスダクティブな手法やGNNのみのアプローチと比較して、より優れた表現力とスケーラビリティを達成できるか？
• RQ4 提案手法は低データ環境下でどのように性能を発揮するか？また、学習データに存在しなかった新しいエンティティや関係に対しても効果的に一般化できるか？
• RQ5 ExpressGNNは、高精度かつ効率的な確率論的論理推論を維持したまま、大規模な知識ベースへどの程度スケーリングできるか？

主な発見

• UW-CSEおよびKinshipデータセットでは、ExpressGNNは14–20msの推論時間を達成し、リフトドBP（321–525ms）とMC-SAT（172–196ms）を著しく上回り、優れたスケーラビリティを示した。
• FB15K-237（100％の学習データ）では、ExpressGNNはMRR 0.45、Hits@10 57.3％を達成し、TransE（MRR: 0.28、Hits@10: 44.5％）と NTN（MRR: 0.13、Hits@10: 23.9％）を上回った。
• 学習データの5％のみを用いた低データ環境下でも、ExpressGNNはMRR 0.42、Hits@10 53.1％を達成し、同じ条件下でNeural LP（MRR: 0.13、Hits@10: 23.2％）を著しく上回った。
• 完全に新しい関係を含むインダクティブな設定では、ExpressGNNはMRR 0.18、Hits@10 29.3％を達成したが、TransEとNTNはほぼゼロ性能（MRR < 0.01）にまで低下した。
• ExpressGNNは、知識ベース補完タスクにおいて最先端の性能を達成し、高いデータ効率性とインダクティブ一般化能力を示した。
• 純粋にトランスダクティブな手法と比較して、はるかに少ないパラメータ数で高い性能を達成したため、パラメータ効率性とスケーラビリティの優位性が顕著に示された。