[논문 리뷰] Logic Tensor Networks: Deep Learning and Logical Reasoning from Data and Knowledge

Luciano Serafini, Artur d’Avila Garcez|arXiv (Cornell University)|2016. 06. 14.

Topic Modeling참고 문헌 20인용 수 137

한 줄 요약

LTN은 일차 논리와 텐서 네트워크를 결합하여 실수 값 grounding에 대해 학습과 추론을 수행하며, 지식 보완과 데이터 예측을 위해 TensorFlow에서 구현됩니다.

ABSTRACT

We propose Logic Tensor Networks: a uniform framework for integrating automatic learning and reasoning. A logic formalism called Real Logic is defined on a first-order language whereby formulas have truth-value in the interval [0,1] and semantics defined concretely on the domain of real numbers. Logical constants are interpreted as feature vectors of real numbers. Real Logic promotes a well-founded integration of deductive reasoning on a knowledge-base and efficient data-driven relational machine learning. We show how Real Logic can be implemented in deep Tensor Neural Networks with the use of Google's tensorflow primitives. The paper concludes with experiments applying Logic Tensor Networks on a simple but representative example of knowledge completion.

연구 동기 및 목표

• 지식 표현을 데이터 기반 학습과의 통합을 실수 값 grounding을 사용해 동기화한다.
• Real Logic를 실수 값 진리 값을 갖는 다가치 1차 논리로 정의한다.
• 관계 지식에 대한 학습-추론을 가능하게 하는 텐서 네트워크 기반 grounding을 제안한다.
• Real Logic를 깊은 Tensor 신경망에서 구현하여 LTNs를 형성한다.
• 배경 지식을 이용한 학습-정보에 기반한 추론을 보여주기 위해 관계 설정(친구와 흡연자)에서 지식 보완을 시연한다.

제안 방법

• grounding 함수가 상수를 실수 벡터로 매핑하고 predicates를 [0,1] 값으로 매핑하도록 Real Logic를 도입한다.
• G(f)(v1,...,vm)=Mf v + nf 및 G(P)(v) = σ(uP^T tanh(v^T WP^[1:k] v + VP v + BP))와 같이 함수 및 술어 grounding을 구현하기 위해 텐서 네트워크를 사용한다.
• grounded clause의 구간 제약을 위반하는 grounding에 대해 손실을 최소화하는 방식으로 근사적인 만족도(adopt approximate satisfiability)를 채택한다.
• Clause instantiation을 제어하기 위해 유한한 인스턴스 깊이에서 동작하고 역전파를 통해 grounding 매개변수를 학습한다.
• Logic Tensor Network(LTN) 아키텍처를 형성하기 위해 이 접근법을 TensorFlow에 임베드한다.
• 배경 지식을 활용한 학습을 통해 지식 보완 시나리오(친구와 흡연자)를 적용하여 학습으로부터의 추론을 설명한다.

실험 결과

연구 질문

• RQ1 실수 값 진리 값을 갖는 일차 논리를 심층 학습과 어떻게 통합하여 동시적 추론과 학습을 지원할 수 있는가?
• RQ2 텐서 네트워크 grounding 표현이 관계 지식과 데이터 기반 grounding을 효과적으로 결합하여 지식 보완과 예측에 기여할 수 있는가?
• RQ3 제약 조건과 배경 지식을 함께 학습하는 것이 논리적 추론이나 데이터 기반 학습만 의존하는 것보다 어떤 이점을 제공하는가?
• RQ4 Real Logic은 폐쇄 세계 가정 없이 열린 도메인 설정에서 다른 신경-상징 프레임워크와 비교하여 얼마나 잘 작동하는가?

주요 결과

• Real Logic은 열린 도메인에서 학습과 추론을 가능하게 하는 일차 언어에 대한 원리적이고 실수 값의 의미론을 제공한다.
• LTN은 Real Logic를 신경 텐서 네트워크로 구현하여 TensorFlow에서 논리 제약을 포함한 끝-끝 학습을 가능하게 한다.
• 지식 보완 과제(친구와 흡연자)에서 LTNs는 알려진 사실에 높은 진리 값을 할당하고 grounding 유사성을 통해 그럴듯한 새로운 사실을 추론할 수 있다.
• 배경 지식을 도입하면 만족도를 높이고 데이터만으로는 도출되지 않는 추가 사실을 예측할 수 있게 한다.
• 이 프레임워크는 t-노름의 유연한 선택을 지원하며 범주화된 주장을 위해 Skolem-유사 구성으로 데이터를 생성할 수 있다.