[논문 리뷰] Property Invariant Embedding for Automated Reasoning

Miroslav Olšák, Cezary Kaliszyk외 1명|arXiv (Cornell University)|2019. 11. 27.

Logic, programming, and type systems인용 수 18

한 줄 요약

이 논문은 기호 재이름, 부정, 절/리터럴 순서에 대해 불변인 수식을 인코딩하는 새로운 그래프 신경망 아키텍처인 성질 불변 임베딩(PIE)을 제안한다. 기호를 추상적 노드로 표현하고 전문화된 메시지 전파를 사용함으로써, PIE는 기호 추측에서 65%의 정확도를 달성하며, 기존 방법에 비해 학습 지도 기반 정리 증명을 45.6% 향상시킨다.

ABSTRACT

Automated reasoning and theorem proving have recently become major challenges for machine learning. In other domains, representations that are able to abstract over unimportant transformations, such as abstraction over translations and rotations in vision, are becoming more common. Standard methods of embedding mathematical formulas for learning theorem proving are however yet unable to handle many important transformations. In particular, embedding previously unseen labels, that often arise in definitional encodings and in Skolemization, has been very weak so far. Similar problems appear when transferring knowledge between known symbols. We propose a novel encoding of formulas that extends existing graph neural network models. This encoding represents symbols only by nodes in the graph, without giving the network any knowledge of the original labels. We provide additional links between such nodes that allow the network to recover the meaning and therefore correctly embed such nodes irrespective of the given labels. We test the proposed encoding in an automated theorem prover based on the tableaux connection calculus, and show that it improves on the best characterizations used so far. The encoding is further evaluated on the premise selection task and a newly introduced symbol guessing task, and shown to correctly predict 65% of the symbol names.

연구 동기 및 목표

• 기존 신경망 임베딩이 자동 정리 증명에서 기호 재이름과 스코렘화를 처리하는 데에 한계가 있음을 해결하기 위해.
• 일阶논리에서 기호 이름 변경, 부정, 절 순서에 대해 불변인 신경망 아키텍처를 개발하기 위해.
• 기존에 보지 못한 레이블을 가진 기호들 간의 전이 학습 및 지식 전이를 가능하게 하기 위해.
• 공식 수학 데이터셋에서 전제 선택 및 기호 추측 작업을 향상시키기 위해.

제안 방법

• 하위항목, 리터럴, 기호를 노드로 하는 절에서 초그래프를 구성하며, 간선은 문법적 관계를 나타낸다.
• 기존 레이블에 의존하지 않고 함수 기호와 술어 기호를 추상적 노드로 표현한다.
• 네트워크가 기호 이름에 관계없이 의미를 복구할 수 있도록 노드 간에 추가 링크를 도입한다.
• 부정 및 기호 재이름에 대해 불변성을 유지하는 초그래프 기반 메시지 전파 메커니즘을 사용한다.
• 구문적 변환에 대해 불변인 실수 값 벡터로 절, 리터럴, 하위항목, 기호를 임베딩하도록 네트워크를 훈련한다.
• 모델을 활용해 leanCoP 가이드, 전제 선택, 그리고 공식 논리 데이터셋에서 새롭게 도입된 기호 추측 작업에 적용한다.

실험 결과

연구 질문

• RQ1 신경망은 일阶논리에서 기호 재이름에 대해 불변성을 유지하면서도 의미를 유지할 수 있는가?
• RQ2 스코렘화 및 절화 과정에서 새로 도입된 보지 못한 기호들에 대해 이러한 모델은 얼마나 잘 일반화되는가?
• RQ3 부정 및 절 순서에 대한 불변성이 자동 정리 증명 성능 향상에 얼마나 기여하는가?
• RQ4 기호 이름에 의존하지 않고도 모델이 전제 선택 및 기호 추측 작업을 효과적으로 수행할 수 있는가?
• RQ5 불변 임베딩이 학습 지도 기반 정리 증명에서 측정 가능한 향상 효과를 가져오는가?

주요 결과

• 제안된 성질 불변 임베딩(PIE) 모델은 새로 도입된 기호 추측 작업에서 기호 이름 예측 정확도가 65%에 도달한다.
• PIE는 XGBoost 기반 기준 모델 대비 첫 번째 학습 반복에서 테스트 세트에서 leanCoP의 학습 지도 기반 정리 증명 성능을 45.6% 향상시킨다.
• 모델은 전제 선택 작업에서 이전 방법들을 능가하며, 공식 수학 코퍼스 전반에 걸쳐 강력한 일반화 성능을 보여준다.
• PIE는 기호 재이름, 부정, 절/리터럴 순서에 대해 불변성을 유지하여 강력한 전이 학습을 가능하게 한다.
• 아키텍처는 수학 이론 간의 구조적 정렬을 탐지함으로써 추측 생성이라는 새로운 응용을 가능하게 한다.
• 실제 ATP 데이터셋에서 기호의 40%가 문제에 특화되어 있음에도 불구하고 모델은 뛰어난 성능을 보이며 실용적 유용성을 확인한다.