[논문 리뷰] TensorLog: A Differentiable Deductive Database

William W. Cohen|arXiv (Cornell University)|2016. 05. 20.

Bayesian Modeling and Causal Inference참고 문헌 9인용 수 75

한 줄 요약

TensorLog는 논리 이론을 인수 그래프로 컴파일하고 신뢰도 전파를 미분 가능한 함수로 전개하여 효율적이고 기울기 기반 매개변수 학습이 가능한 미분 가능한 확률적 추론 데이터베이스를 소개한다. 이는 선형 시간 컴파일 및 추론을 달성하며, 재귀 작업에서 잘 스케일링되며, ProbLog2 및 ProPPR와 같은 기존 시스템에 비해 학습 정확도와 추론 속도에서 유사하거나 뛰어난 성능을 보인다.

ABSTRACT

Large knowledge bases (KBs) are useful in many tasks, but it is unclear how to integrate this sort of knowledge into "deep" gradient-based learning systems. To address this problem, we describe a probabilistic deductive database, called TensorLog, in which reasoning uses a differentiable process. In TensorLog, each clause in a logical theory is first converted into certain type of factor graph. Then, for each type of query to the factor graph, the message-passing steps required to perform belief propagation (BP) are "unrolled" into a function, which is differentiable. We show that these functions can be composed recursively to perform inference in non-trivial logical theories containing multiple interrelated clauses and predicates. Both compilation and inference in TensorLog are efficient: compilation is linear in theory size and proof depth, and inference is linear in database size and the number of message-passing steps used in BP. We also present experimental results with TensorLog and discuss its relationship to other first-order probabilistic logics.

연구 동기 및 목표

• 대규모 지식 기반을 딥러닝 시스템에 통합하는 데 도전하는 문제를 해결하기 위해 기울기 기반 학습을 지원하는 기울기 가시성 추론을 가능하게 하기 위해.
• 추론이 기울기 가시성인 확률적 추론 데이터베이스(PrDDB)를 설계하여 매개변수의 엔드 투 엔드 기울기 기반 학습을 지원하기 위해.
• 이론 크기, 데이터베이스 크기, 메시지 전달 단계 수와 비례하여 선형적으로 증가하는 효율적인 컴파일 및 추론을 달성하기 위해.
• 기울기 가시성 논리적 추론이 ProbLog2 및 ProPPR와 같은 복잡한 확률적 논리 모델을 효과적으로 근사할 수 있는지 입증하기 위해.
• 기울기 가시성이고 조합 가능한 추론 함수를 통해 딥러닝 프레임워크와의 밀접한 통합을 가능하게 하기 위해.

제안 방법

• 이론 내 각 논리 문장은 논리적 변수가 랜덤 변수로 매핑되고, 문장이 요소로 매핑되는 인수 그래프로 컴파일된다.
• 각 쿼리 유형에 대해 신뢰도 전파(BP) 메시지 전달 단계가 기울기 계산이 가능한 함수로 전개된다.
• 비틀린 상호의존적 논리 이론과 다중 술어를 다루기 위해 기울기 가시성 추론 함수를 재귀적으로 조합한다.
• 매개변수(예: 사실의 신뢰도)는 정규화되지 않은 교차 엔트로피 손실과 비음성 보장을 위한 ReLU 유사 클리핑을 사용하여 기울기 하강법으로 최적화된다.
• 출력 점수를 확률 분포로 변환하기 위해 소프트맥스를 사용한다.
• 추론 및 컴파일 과정은 이론 크기, 증명 깊이, 데이터베이스 크기, BP 단계 수와 선형적으로 관련된 시간 내에 수행된다.

실험 결과

연구 질문

• RQ1 확률적 추론 데이터베이스에서 논리적 추론을 완전히 기울기 가시성으로 만들 수 있는가? 이는 기울기 기반 학습을 지원하기 위함이다.
• RQ2 기울기 가시성 추론은 재귀적이고 깊이 중첩된 논리 쿼리에서 얼마나 효율적으로 스케일링될 수 있는가?
• RQ3 ProbLog2 및 ProPPR와 같은 기존 시스템에 비해 TensorLog과 같은 기울기 가시성 논리 시스템이 학습 정확도와 추론 속도에서 유사하거나 뛰어나게 성능을 낼 수 있는가?
• RQ4 기울기 가시성 논리적 추론은 전체 일阶 확률적 논리의 의미를 어느 정도 근사할 수 있는가?
• RQ5 기울기 가시성 논리적 추론은 공동 학습을 위한 딥러닝 파ip라인에 효과적으로 통합될 수 있는가?

주요 결과

• TensorLog는 이론 크기, 데이터베이스 크기, 메시지 전달 단계 수와 선형적으로 증가하는 컴파일 및 추론을 달성한다.
• 16×16 격자 경로 탐색 작업에서, TensorLog는 20 에포크 동안 훈련하여 약 3초의 에포크당 시간에 96.5%의 테스트 정확도를 달성했다.
• 6배 더 많은 엔터티를 쿼리해도 TensorLog는 ProbLog2보다 몇 배 빠른 추론 속도를 보였다.
• 64×64 격자에서 TensorLog는 특히 깊이 있는 재귀 쿼리에서 ProbLog2에 비해 뛰어난 확장성과 더 빠른 런타임을 보였다.
• 논문 매칭 및 관계 예측 작업에서, 단일 스레드 구현과 간단한 학습 방식을 사용했음에도 불구하고 TensorLog는 ProPPR와 유사한 정확도를 달성했다.
• 6×6 격자에서의 학습된 가중치 시각화 결과는 의미 있는 패턴을 보였으며, 간선의 방향성과 크기 차이가 경로에 대한 학습된 신뢰도를 반영하고 있었다.