[논문 리뷰] An Experimental Study of Formula Embeddings for Automated Theorem Proving in First-Order Logic

Ibrahim Abdelaziz, Veronika Thost외 2명|arXiv (Cornell University)|2020. 02. 02.

Natural Language Processing Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 TRAIL 시스템을 사용하여 일阶 논리에서 신경망 기반 자동 정리 증명에 대한 패턴 기반 및 그래프 기반 공식 임베딩을 평가하고 비교한다. 더 높은 런타임 비용에도 불구하고, 메시지 전달 네트워크(MPNNs)를 포함한 그래프 신경망(GNN) 임베딩은 더 짧고 간결한 증명과 더 효율적인 탐색 전략을 제공하여 단순한 패턴 기반 방법보다 뚜렷이 뛰어난 성능을 보이며, 런타임을 고려한 상황에서도 증명 품질과 탐색 효율성에서의 열세를 보여준다.

ABSTRACT

Automated theorem proving in first-order logic is an active research area which is successfully supported by machine learning. While there have been various proposals for encoding logical formulas into numerical vectors -- from simple strings to more involved graph-based embeddings -- little is known about how these different encodings compare. In this paper, we study and experimentally compare pattern-based embeddings that are applied in current systems with popular graph-based encodings, most of which have not been considered in the theorem proving context before. Our experiments show that the advantages of simpler encoding schemes in terms of runtime are outdone by more complex graph-based embeddings, which yield more efficient search strategies and simpler proofs. To support this, we present a detailed analysis across several dimensions of theorem prover performance beyond just proof completion rate, thus providing empirical evidence to help guide future research on neural-guided theorem proving towards the most promising directions.

연구 동기 및 목표

• 자신감 있는 비교를 위해 자동 정리 증명에서 다양한 공식 임베딩 전략을 공정하게 평가하기 위해.
• 다양한 임베딩 기법 간의 런타임 효율성과 증명 품질 간의 상호 교환 관계를 평가하기 위해.
• 신경망 기반 ATP 시스템에서 더 효율적인 탐색 경로와 더 단순한 증명을 이끌어내는 임베딩 전략을 특정하기 위해.
• 다양한 인코딩 방법의 강점과 약점을 경험적으로 평가하여 향후 신경망 기반 정리 증명 연구를 이끌기 위해.

제안 방법

• 연구는 두 가지 패턴 기반 임베딩 접근 방식을 구현한다: 용어 워크(terminal walks)와 체인 패턴(chain patterns)으로, 이는 문법 패턴과 하위구조 수를 사용하여 논리 공식을 인코딩한다.
• 그래프 신경망(GNN)의 여러 변형, 예를 들어 그래프 컬러이션 네트워크(GCNs)와 메시지 전달 신경망(MPNNs)을 사용하여, 공식을 공유되는 하위표현과 변수의 양상 등을 반영하는 구조적 그래프로 인코딩한다.
• 모든 임베딩은 동일한 신경망 기반 ATP 시스템인 TRAIL 내에서 평가되어, 메서드 간 일관된 정책 학습과 행동 선택을 보장한다.
• 성능 평가는 증명 완료율, 평균 증명 길이, 무의미한 단계 수(탐색 비효율성), 증명 단계당 런타임 등 여러 차원에서 측정된다.
• 벡터화는 공식의 문법 트리와 방향 무사이클릭 그래프(DAG) 표현을 사용하여 구조적 및 의미적 관계를 유지한다.
• 포괄적인 분석은 벡터화, 행동 선택, 추론 단계에 걸친 런타임 분해를 포함하여 성능 저하 요인을 정확히 파악한다.

실험 결과

연구 질문

• RQ1 패턴 기반 임베딩과 그래프 기반 임베딩은 자동 정리 증명에서 증명 완료율과 탐색 효율성 측면에서 어떻게 비교되는가?
• RQ2 더 높은 계산 비용을 지닌 복잡한 그래프 기반 임베딩은 단순한 패턴 기반 인코딩보다 더 단순하고 간결한 증명을 이끌어내는가?
• RQ3 임베딩 전략의 선택이 증명 탐색 과정에서 무의미한 단계의 수에 얼마나 큰 영향을 미치는가?
• RQ4 더 높은 런타임 오버헤드가 있음에도 불구하고, 그래프 기반 임베딩은 강화 학습 정책의 효율성을 향상시켜 증명 탐색을 이끄는 데 기여하는가?
• RQ5 어느 임베딩 유형이 ATP 시스템에서 가장 정확하고 깊이 우선 탐색 유사한 행동을 가능하게 하는가?

주요 결과

• 그래프 기반 임베딩, 특히 MPNNs는 패턴 기반 방법보다 훨씬 짧은 증명을 생성했으며, GCNs는 테스트된 모든 방법 중에서 가장 짧은 증명을 도출했다.
• MPNNs는 무의미한 단계 비율을 가장 낮게 유지(4.2%)했고, 증명의 간결성도 가장 높아, 더 정확하고 깊이 우선 탐색 유사 전략을 취하고 있음을 시사한다.
• 더 높은 런타임 비용에도 불구하고, 그래프 기반 임베딩은 증명 품질과 탐색 효율성에서 패턴 기반 방법을 능가했으며, 후자는 더 높은 무의미한 단계 비율(예: 체인 패턴의 경우 12.1%)을 보였다.
• 패턴 기반 인코더는 벡터화와 정책 평가에서 더 빠르게 작동하여 추론에 더 많은 시간을 할애할 수 있었지만, 이 장점은 그들의 덜 효과적인 탐색 행동에 의해 상쇄되었다.
• 이 연구는 이 맥락에서 MPNNs가 GCNs보다 더 효과적임을 확인했으며, 이는 메시지 전달 메커니즘이 정리 증명을 위한 필수적인 논리적 구조를 더 잘 포착하기 때문임을 시사한다.
• 결과적으로, 증명 품질과 탐색 효율성에서 뛰어난 성능을 보임에도 불구하고 계산 오버헤드가 존재하는 상황에서도 더 풍부하고 의미 인식 기반의 그래프 인코딩을 신경망 기반 ATP에 사용할 것의 방향을 지지한다.