[논문 리뷰] Automated proof synthesis for propositional logic with deep neural networks

Taro Sekiyama, Kohei Suenaga|arXiv (Cornell University)|2018. 05. 30.

Natural Language Processing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 문장 논리에서 증명 생성을 자동화하기 위해 각 증명 단계에서 추론 규칙의 가능성을 모델링하는 딥 뉴럴 네트워크인 proposition-to-proof 모델을 제안한다. 가능도 기반의 통계적 프레임워크를 사용하여 증명 후보를 가능도 순으로 정렬함으로써, 모델은 올바른 추론 규칙을 예측하는 데 96.79%의 정확도를 달성하여 이전의 신경망 기반 접근 방식보다 크게 향상시켰다.

ABSTRACT

This work explores the application of deep learning, a machine learning technique that uses deep neural networks (DNN) in its core, to an automated theorem proving (ATP) problem. To this end, we construct a statistical model which quantifies the likelihood that a proof is indeed a correct one of a given proposition. Based on this model, we give a proof-synthesis procedure that searches for a proof in the order of the likelihood. This procedure uses an estimator of the likelihood of an inference rule being applied at each step of a proof. As an implementation of the estimator, we propose a proposition-to-proof architecture, which is a DNN tailored to the automated proof synthesis problem. To empirically demonstrate its usefulness, we apply our model to synthesize proofs of propositional logic. We train the proposition-to-proof model using a training dataset of proposition-proof pairs. The evaluation against a benchmark set shows the very high accuracy and an improvement to the recent work of neural proof synthesis.

연구 동기 및 목표

• 기호적 방법을 넘어서는 문장 논리에서의 자동 증명 생성(APS)을 위한 딥 러닝 접근 방식을 개발한다.
• 확률적 추론을 통해 부분적으로 구성된 증명이 주어진 문장에 대해 올바른 증명으로 이어질 가능성을 모델링한다.
• 각 증명 단계에서 추론 규칙의 가능도를 추정하는 전용 딥 뉴럴 네트워크 아키텍처인 proposition-to-proof 모델을 설계한다.
• 증명 쌍의 벤치마크 데이터셋에서 모델의 성능을 경험적으로 평가한다.
• 학습된 DNN에 의해 이끄는 가능도 기반의 증명 검색 전략이 APS에서 엔드 투 엔드 신경망 번역 접근 방식보다 우수한 성능을 보임을 보여준다.

제안 방법

• 각 단계에서의 추론 규칙 가능도의 곱에 기반해 증명이 올바를 가능도를 정량화하는 통계 모델을 사용하여 APS 문제를 공식화한다.
• 각 추론 규칙의 추정 가능도에 따라 가능도가 높은 순서로 증명 후보를 탐색하는 증명 생성 절차를 제안한다.
• 논리적 문장의 구문 트리를 인코딩하고 다음 추론 규칙을 예측하는 데 사용되는 딥 뉴럴 네트워크인 proposition-to-proof 모델을 도입한다.
• 논리 공식과 증명 의무를 효과적으로 처리하기 위해 트리 구조의 컨volution과 집계 레이어를 사용한 인코더-디코더 아키텍처를 활용한다.
• 감독 학습을 사용하여 자동으로 생성된 문장-증명 쌍의 대규모 데이터셋에서 모델을 훈련시킨다.
• 증명 생성 중에 빔 서치나 그레디 서치 전략을 이끄는 데 DNN 기반의 가능도 추정기 사용

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 자동 증명 생성에서 추론 규칙의 가능도를 효과적으로 추정하는 데 사용될 수 있는가?
• RQ2 학습된 모델에 의해 이끄는 가능도 기반의 증명 검색 전략은 엔드 투 엔드 신경망 번역 방식보다 APS에서 더 우수한 성능을 보일 수 있는가?
• RQ3 DNN 모델은 문장 논리 증명의 올바른 다음 추론 단계를 예측하는 데 얼마나 높은 정확도를 달성할 수 있는가?
• RQ4 proposition-to-proof 모델 아키텍처는 구조화된 증명 생성 작업을 처리하는 데 있어 기존의 신경망 아키텍처와 비교해 어떻게 다른가?
• RQ5 증명 후보를 정렬하기 위해 통계 모델을 사용할 경우 증명 생성의 효율성과 성공률에 어떤 영향을 미치는가?

주요 결과

• proposition-to-proof 모델은 증명 구성의 각 단계에서 적용할 올바른 추론 규칙을 식별하는 데 96.79%의 정확도를 달성한다.
• 가능도 기반의 증명 생성 절차는 짧은 시간 내에 대규모의 문장 논리 공식에 대해 올바른 증명을 성공적으로 생성한다.
• 이전의 신경망 기반 접근 방식, 예를 들어 일반적인 신경망 기반 번역 모델은 같은 벤치마크에서 약 50%의 성공률에 그쳤지만, 본 모델은 그보다 크게 뛰어나다.
• 트리 구조의 컨볼루션과 집계 레이어의 사용은 논리 공식의 구조와 증명 의무를 효과적으로 인코딩하는 데 기여한다.
• 통계 모델을 통해 가능도가 높은 증명 경로를 우선순위로 정함으로써 검색 공간을 줄이고 증명 검색의 효율성을 향상시킨다.
• 딥 러닝과 형식적 추론을 통합하여 문장 논리에서의 자동 정리 증명의 실현 가능성을 입증한다.