[論文レビュー] Neural Markov Logic Networks

Giuseppe Marra, Ondřej Kuželka|Lirias (KU Leuven)|May 31, 2019

Bayesian Modeling and Causal Inference参考文献 43被引用数 7

ひとこと要約

Neural Markov Logic Networks (NMLNs) は、Markov Logic Networks における手作業で作成された論理規則の代わりに学習可能なニューラルポテンシャル関数を用いる、微分可能でエンドツーエンドの統計的関係学習フレームワークを導入する。関係構造の断片に基づくニューラルポテンシャルを用いて関係的対称性をモデル化することで、NMLNs は関係構造の共同確率モデルを構築可能となり、事前に定義された論理規則や定数埋め込みに依存せずに、知識ベース補完、三項分類、分子グラフ生成の分野で最先端の性能を達成する。

ABSTRACT

We introduce neural Markov logic networks (NMLNs), a statistical relational learning system that borrows ideas from Markov logic. Like Markov logic networks (MLNs), NMLNs are an exponential-family model for modelling distributions over possible worlds, but unlike MLNs, they do not rely on explicitly specified first-order logic rules. Instead, NMLNs learn an implicit representation of such rules as a neural network that acts as a potential function on fragments of the relational structure. Similarly to many neural symbolic methods, NMLNs can exploit embeddings of constants but, unlike them, NMLNs work well also in their absence. This is extremely important for predicting in settings other than the transductive one. We showcase the potential of NMLNs on knowledge-base completion, triple classification and on generation of molecular (graph) data.

研究の動機と目的

• 従来の Markov Logic Networks (MLNs) が手作業で作成された論理規則や組合せ的構造学習に依存するという限界を解消すること。
• 明示的な一階論理規則に依存せずに、関係構造の上での結合確率分布を学習できる統計的関係学習モデルの開発。
• 定数埋め込みが利用できない状況を含め、帰納的および伝達的（transductive）な設定においても効果的な学習を可能にすること。
• ニューラルネットワーク（表現学習）と確率的論理（不確実性モデリング）の長所を、整合的な最大エントロピー枠組みで統合すること。
• 知識ベース補完、三項分類、分子グラフ生成といった多様なタスクにおいて、モデルの有効性を実証すること。

提案手法

• NMLNs は、関係構造の断片に基づいた関係的ポテンシャル関数を定義し、ニューラルネットワークを用いて論理的規則性を暗黙的に表現する。
• モデルは断片ポテンシャル（可能な世界の部分構造（断片）に関するパラメトリック関数）を用い、勾配降下法により学習する。
• グローバルポテンシャル関数は断片ポテンシャルから構築され、全関係構造の結合分布のモデリングを可能にする。
• フレームワークは最小最大エントロピー原理に基づいており、モデル設計の理論的裏付けを提供する。
• ニューラルアーキテクチャは関係データ内の対称性を活用するように設計されており、異なる定数集合間での一般化を可能にする。
• モデルは帰納的および伝達的推論をサポートし、定数埋め込みが利用できない場合でも効果的に動作する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークベースのポテンシャル関数は、統計的関係モデルにおける手作業で作成された論理規則を効果的に置き換えられるか？
• RQ2 微分可能でエンドツーエンドの学習フレームワークにおいて、関係的対称性をどのように体系的に組み込むことができるか？
• RQ3 定数埋め込みが利用可能でないインダクティブな設定においても、NMLNs は一般化できるか？
• RQ4 リンク予測や分子生成といったタスクにおいて、NMLNs の性能は、知識グラフ埋め込みのような特化型モデルと比較してどうなるか？
• RQ5 多くの既存の KGE メソッドとは異なり、NMLNs は一価関係（属性）と二価関係（リンク）を同時にモデリングできるか？

主な発見

• NMLNs は知識ベース補完および三項分類タスクで最先端の性能を達成し、従来の MLNs や知識グラフ埋め込み手法を上回る。
• モデルは、実際の分子と統計的に区別がつかない化学的性質を持つ現実的な分子グラフを効果的に生成でき、強力な生成能力を示した。
• 定数埋め込みが存在しない状況でも良好な性能を発揮するため、伝達的設定を超えた帰納的学習に適している。
• フレームワークは一価関係と二価関係の両方の関係を共同でモデリングでき、標準的な知識グラフ埋め込み手法に欠けている機能である。
• 実験により、NMLNs は古典的 MLNs で膨大な数の論理規則を必要とするような複雑な関係的規則性を暗黙的に学習できることを示した。
• モデルはスケーラブルで効率的であり、特殊なサブクラスを備えることで、予測性能を保持したまま高速な推論が可能である。