[論文レビュー] Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge

Luciano Serafini, Artur d’Avila Garcez|arXiv (Cornell University)|Jun 14, 2016

Topic Modeling参考文献 20被引用数 137

ひとこと要約

LTNは、一階述語論理とテンソルネットワークを組み合わせ、実数値 grounding 上で学習と推論を行い、知識補完とデータ予測のために TensorFlow で実装されている。

ABSTRACT

We propose Logic Tensor Networks: a uniform framework for integrating automatic learning and reasoning. A logic formalism called Real Logic is defined on a first-order language whereby formulas have truth-value in the interval [0,1] and semantics defined concretely on the domain of real numbers. Logical constants are interpreted as feature vectors of real numbers. Real Logic promotes a well-founded integration of deductive reasoning on a knowledge-base and efficient data-driven relational machine learning. We show how Real Logic can be implemented in deep Tensor Neural Networks with the use of Google's tensorflow primitives. The paper concludes with experiments applying Logic Tensor Networks on a simple but representative example of knowledge completion.

研究の動機と目的

• 実数値 grounding を用いた知識表現とデータ駆動学習の統合を動機づける。
• 実数値真値を持つ多値の一階述語論理として Real Logic を定義する。
• 関係知識に対する学習を推論として実現するテンソルネットワークに基づく grounding を提案する。
• 深層 Tensor Neural Networks で Real Logic を具体化し LTNs を形成する。
• 関係的設定（友人と喫煙者）で知識補完を実演し、学習に基づく推論を示す。

提案手法

• 実数ベクトルへ定数を写像する grounding 関数と、[0,1] 値へ述語を写像する grounding を、s-norm を用いて導入する。
• 関数と述語 grounding を実装するためにテンソルネットワークを使用する： G(f)(v1,...,vm)=Mf v + nf および G(P)(v) = σ(uP^T tanh(v^T WP^[1:k] v + VP v + BP)).
• grounded 句の区間制約を満たさない grounding に対して損失を最小化する形で、近似充足性を採用する。
• 句の instantiation を制御するために有限の展開深さで動作し、バックプロパゲーションを用いて grounding パラメータを学習する。
• このアプローチを TensorFlow に組み込み、Logic Tensor Network (LTN) アーキテクチャを形成する。
• 背景知識からの学習を示すために知識補完のシナリオ（friends and smokers）を適用する。

実験結果

リサーチクエスチョン

• RQ1 実数値の真値を持つ一階述語論理を深層学習と統合して、同時的な推論と学習を支援するにはどうすればよいか？
• RQ2 テンソルネットワーク grounded 表現は、関係知識とデータ駆動 grounding を知識補完と予測のために効果的に組み合わせることができるか？
• RQ3 制約と背景知識を学習と併せて共同で学習することで、単なる論理的推論やデータ駆動学習のいずれに頼るよりもどんな利点が生じるか？
• RQ4 閉世界仮定なしのオープンドメイン設定における Real Logic は、他のニューラル・シンボリック框架と比較してどう機能するか？

主な発見

• Real Logic は、開放的ドメインでの学習と推論を可能にする、一階言語の原理的で実数値的な意味論を提供する。
• LTN は Real Logic をニューラルテンソルネットワークで具体化し、TensorFlow での論理制約を伴うエンドツーエンド学習を可能にする。
• 知識補完タスク（friends and smokers）で、LTN は既知の事実に高い真値を割り当て、grounding の類似性からもっともらしい新しい事実を推定できる。
• 背景知識を組み込むことで充足性が向上し、データだけでは十分に含意されない追加の真実の事実を予測できる。
• このフレームワークは t-norm の柔軟な選択をサポートし、普遍量化された文に対して Skolem 構造のような概念を用いてデータを生成できる。