[논문 리뷰] TensorLog: Deep Learning Meets Probabilistic DBs

William W. Cohen, Fan Yang외 1명|arXiv (Cornell University)|2017. 07. 17.

Bayesian Modeling and Causal Inference참고 문헌 22인용 수 31

한 줄 요약

TensorLog은 TensorFlow와 같은 GPU 가속 프레임워크에서 실행 가능한 미분 가능 함수로 논리 쿼리를 컴파일하여 확률적 일阶 논리와 딥러닝을 통합한다. 추론을 처리 가능한 ptree-SDKG 구조로 제한하고 동적 프로그래밍을 사용함으로써, 대규모 지식 기반에서 확장성 있고 미분 가능한 추론을 가능하게 하며, 420,000개의 삼중항과 10,000개의 예제를 약 200초 내에 에포크당 처리한다.

ABSTRACT

We present an implementation of a probabilistic first-order logic called TensorLog, in which classes of logical queries are compiled into differentiable functions in a neural-network infrastructure such as Tensorflow or Theano. This leads to a close integration of probabilistic logical reasoning with deep-learning infrastructure: in particular, it enables high-performance deep learning frameworks to be used for tuning the parameters of a probabilistic logic. Experimental results show that TensorLog scales to problems involving hundreds of thousands of knowledge-base triples and tens of thousands of examples.

연구 동기 및 목표

• 확률적 일阶 논리 추론을 딥러닝 인프라와 통합하여 엔드 투 엔드의 미분 가능 훈련을 가능하게 하기.
• 기존의 기반 기반 추론 방식이 대규모 지식 기반에서 비가능해지는 확장성 문제를 해결하기.
• 부드러운 술어에 대한 직접적인 레이블링이나 소프트 술어에 대한 직접적 감독 대신 기울기 기반 최적화를 통해 확률적 추론 데이터베이스에서의 파라미터 학습을 가능하게 하기.
• 효율적이고 미분 가능한 추론을 보장하면서도 충분한 표현력을 유지하는 확률적 추론 데이터베이스의 처리 가능한 하위클래스(ptree-SDKGs)를 체계화하기.
• 논리 쿼리에 대한 미분 가능 추론이 현대 딥러닝 플랫폼(예: TensorFlow, Theano)에서 효율적으로 실행될 수 있음을 보여주기.

제안 방법

• 확률적 추론 데이터베이스의 제한된 클래스인 ptree-SDKGs를 사용하여 일阶 논리 쿼리를 미분 가능 계산 그래프로 컴파일하기.
• 각 랜덤 변수가 증명 내에서 논리 변수의 가능한 바인딩에 대응하는 요소 그래프에서 신뢰도 전파를 통한 동적 프로그래밍을 적용하기.
• 예: indicatesLabel, important 등의 부드러운 술어를 기울기 하강법을 통해 조정 가능한 가중치를 가진 미분 가능 매개변수로 표현하기.
• 전체 기반화의 지수적 팽창을 피하기 위해 다항수형 구조를 가진 의존성에 기반한 기반 없는 추론 알고리즘을 사용하기.
• 논리 추론을 신경망 프레임워크에 통합하기 위해 추론을 미분 가능한 함수로 표현함으로써 논리 쿼리에 대한 역전파를 가능하게 하기.
• 미분 가능한 부드러운 제약 조건과 확률적 추론을 적용하여 질문-답변 쌍에서 논리 규칙와 그 파라미터를 함께 학습할 수 있도록 하기.

실험 결과

연구 질문

• RQ1 확률적 일阶 논리 추론이 TensorFlow, Theano와 같은 딥러닝 프레임워크에 효율적으로 통합될 수 있는가?
• RQ2 전체 기반화 없이도 대규모 확률적 지식 기반에서 확장성 있고 미분 가능한 추론을 수행할 수 있는가?
• RQ3 레이블 관련성 등을 나타내는 부드러운 술어에 대한 파라미터 학습이 직접적인 레이블링 대신 질문-답변 감독을 통해 간접적으로 수행될 수 있는가?
• RQ4 논리적 구조에 어떤 제약 조건이 가해지면 처리 가능한 추론을 유지하면서도 실제 추론 작업에 필요한 충분한 표현력을 유지할 수 있는가?
• RQ5 ptree-SDKG와 같은 아키텍처 제약 조건을 통해 #P-어려운 추론 작업의 계산 복잡도를 완화할 수 있는가?

주요 결과

• TensorLog은 최대 420,000개의 삼중항과 10,000개의 훈련 예제를 포함한 지식 기반에서 작동하며, 단일 GPU에서 약 200초 내에 에포크당 추론을 수행한다.
• 질문-답변 쌍에서의 간접적 감독을 통해 기울기 하강법을 사용하여 부드러운 술어 가중치의 엔드 투 엔드 미분 가능 훈련을 지원한다.
• ptree-SDKG 체계는 의존성 구조를 다항수형 구조로 제한함으로써 처리 가능한 추론을 보장하며, 전체 기반화의 지수적 팽창을 방지한다.
• 이론적 분석 결과, 일반적인 확률적 논리 추론은 표준 의미론 하에서 여전히 #P-어려운 것으로 밝혀져, ptree-SDKG와 같은 구조적 제약 조건이 필요하다는 것을 정당화한다.
• 실험 결과, 자연어 기반 질문-답변 데이터에서 의미 있는 논리적 매개변수(예: 레이블 관련성에 대한 것)를 학습할 수 있음을 입증하였다.
• GPU 가속 딥러닝 플랫폼을 활용함으로써 높은 성능의 훈련이 가능해져, 실제 데이터셋에 대한 논리적 추론의 확장이 현실적으로 가능해졌다.