[논문 리뷰] DeepProbLog: Neural Probabilistic Logic Programming

Robin Manhaeve, Sebastijan Dumančić외 3명|ORCA Online Research @Cardiff (Cardiff University)|2018. 05. 28.

Natural Language Processing Techniques참고 문헌 16인용 수 111

한 줄 요약

DeepProbLog은 ProbLog를 확장하여 신경 프레디킷들을 추가로 통해 확률 논리와 신경망을 끝에서 끝까지 공동으로 학습하게 하여, 프로그램 유도와 함께 상징적 및 부분상징적 추론을 가능하게 한다.

ABSTRACT

We introduce DeepProbLog, a probabilistic logic programming language that incorporates deep learning by means of neural predicates. We show how existing inference and learning techniques can be adapted for the new language. Our experiments demonstrate that DeepProbLog supports both symbolic and subsymbolic representations and inference, 1) program induction, 2) probabilistic (logic) programming, and 3) (deep) learning from examples. To the best of our knowledge, this work is the first to propose a framework where general-purpose neural networks and expressive probabilistic-logical modeling and reasoning are integrated in a way that exploits the full expressiveness and strengths of both worlds and can be trained end-to-end based on examples.

연구 동기 및 목표

• 확률 로직 프로그래밍을 신경 프레디킷들과 함께 확장하여 부분상징적 출력을 확률적 사실로 처리
• ProbLog 의미론과 추론을 보존하면서 신경망 구성 요소를 통합
• 양자 확률 로직과 신경 모듈 간의 엔드-투-엔드 경사하강 학습 가능
• 상징/부분상징 추론, 프로그램 유도, 예시로부터의 학습에서 능력 시연

제안 방법

• 신경 AD 분리(nADs)를 정의하여 신경망 출력들을 ground 확률적 사실로 래핑
• grounding, 명제화, Sentential Decision Diagrams (SDDs)를 사용한 ProbLog 추론으로 질의 확률 계산
• 확률적 사실을 통해 그래디언트를 전파하기 위해 그래디언트 세림을 사용하는 대수적 ProbLog (aProbLog) 적용
• 로직 출력에서 신경 프레디킷으로 손실 역전파를 통해 신경망 업데이트
• 확률 변수 업데이트와 함께 표준 경사 기반 옵티마이저(예: Adam) 사용
• 주석화된 분리들(ADs)을 정규화하여 유효한 확률 분포를 유지

실험 결과

연구 질문

• RQ1 신경망을 의미론이나 추론 효율을 잃지 않고 확률 로직 프로그래밍 프레임워크에 통합할 수 있는가?
• RQ2 엔드-투-엔드 경사 기반 학습이 확률 사실과 신경망 구성 요소 모두를 하나의 모델에서 최적화할 수 있는가?
• RQ3 결합이 상징적 추론, 프로그램 유도, 예시 학습과 같은 작업을 얼마나 잘 지원하는가?

주요 결과

• 엔드-투-엔드 학습으로 상징적 및 부분상징적 추론의 공동 시연
• ProbLog 기반 프레임워크 내에서 프로그램 유도 가능성 시연
• 숫자 자릿수 및 산술 기반 배경 지식을 통한 MNIST 기반 덧셈에서 추론능력과 함께 경쟁력 있는 성능 달성
• 지각 및 확률적 추론 모두를 요구하는 과제에 대한 확장 가능한 학습 능력
• 신경 구성요소와 함께 확률 로직 프로그램 학습을 위한 다재다능한 플랫폼 제공