[논문 리뷰] Premise Selection for Theorem Proving by Deep Graph Embedding

Mingzhe Wang, Yihe Tang외 2명|arXiv (Cornell University)|2017. 09. 28.

Advanced Graph Neural Networks참고 문헌 31인용 수 26

한 줄 요약

이 논문은 변수 이름 변경에 대해 불변인 문법적 및 의미적 구조를 유지하는 그래프로 표현하는 딥 그래프 임베딩 방법을 제안한다. 고차 논리 공식을 구문과 의미를 유지하는 그래프로 표현하고, 이웃 구조 기반으로 반복적으로 노드 임베딩을 업데이트하며, 풀링을 통해 그래프 수준의 표현을 형성함으로써, HolStep 데이터셋에서 90.3%의 정확도를 달성하였다. 이는 이전 최고 성능 기준 7.3%포인트 향상이다.

ABSTRACT

We propose a deep learning-based approach to the problem of premise selection: selecting mathematical statements relevant for proving a given conjecture. We represent a higher-order logic formula as a graph that is invariant to variable renaming but still fully preserves syntactic and semantic information. We then embed the graph into a vector via a novel embedding method that preserves the information of edge ordering. Our approach achieves state-of-the-art results on the HolStep dataset, improving the classification accuracy from 83% to 90.3%.

연구 동기 및 목표

• 검색 공간을 줄이기 위해 전제 선택을 개선하여 자동 정리 증명에서 조합 폭발 문제를 해결한다.
• 수학 공식의 구조적 관계를 포착하지 못하는 순차 기반 모델의 한계를 극복한다.
• 변수 이름 변경에 대해 불변이면서 문법적 및 의미적 구조를 유지하는 고차 논리 공식의 그래프 기반 표현을 개발한다.
• 반복적 이웃 집합 기반 임베딩을 사용하여 그래프를 벡터로 매핑하는 딥 러닝 프레임워크를 설계하여 구조적 특징의 엔드 투 엔드 학습을 가능하게 한다.
• 전제 선택에서 HolStep 데이터셋에서 최고 성능을 달성하여 이전 방법을 초월한 분류 정확도 향상을 이룬다.

제안 방법

• 각 고차 논리 공식을 노드가 논리 연산자, 술어, 함수, 변수, 상수에 대응하는 방향성 및 루트가 있는 파싱 트리로 표현한다.
• 부모-자식 및 바인딩 관계를 인코딩하는 간선을 포함한 그래프를 파싱 트리에서 구성하며, 변수 이름을 공통 토큰(예: VAR)으로 치환함으로써 변수 이름 변경에 대해 불변성을 확보한다.
• 각 노드 유형(예: 함수, 변수, 상수)에 대한 학습된 임베딩을 사용해 노드 임베딩을 초기화하며, 구조적 메시지 전파를 통해 간선 순서 정보를 유지한다.
• 반복적인 그래프 신경망(GNN) 스타일의 메시지 전파 수행: 각 노드의 임베딩을 이웃 임베딩의 멀티셋 기반으로 업데이트하며, 학습 가능한 집계 메커니즘을 통해 간선 순서를 유지한다.
• 전체 공식 그래프의 고정 크기 벡터 표현을 생성하기 위해 노드 임베딩을 전역 평균 풀링을 통해 풀링한다.
• HolStep 데이터셋에서 교차 엔트로피 손실을 사용하여 전반적인 모델을 백프로파게이션을 통해 엔드 투 엔드로 훈련하여 전제 관련성 분류를 수행한다.

실험 결과

연구 질문

• RQ1 순차적 토큰 표현보다 그래프 기반 표현이 고차 논리 공식의 문법적 및 의미적 구조를 더 잘 포착할 수 있는가?
• RQ2 간선 순서를 유지하고 변수 이름 변경에 대해 불변인 딥 그래프 임베딩 방법이 전제 선택 정확도를 향상시키는가?
• RQ3 메시지 전파 단계 수가 그래프 임베딩 모델 성능에 어떤 영향을 미치는가?
• RQ4 모델은 변수 이름 변경에 얼마나 강인한가? 그리고 훈련 데이터의 편향을 초월해 일반화하는가?
• RQ5 그래프 기반 임베딩은 공식 간의 구조적 유사성을 반영하는 의미적으로 일관된 표현을 학습할 수 있는가?

주요 결과

• 제안된 FormulaNet 모델은 HolStep 데이터셋에서 90.3%의 분류 정확도를 달성하여 이전 최고 성능(83%)보다 7.3%포인트 향상되었다.
• 원래 변수 이름을 사용한 그래프로 훈련한 모델는 원래 검증 세트에서는 89.8%의 정확도를 기록했지만, 이름이 변경된 검증 세트에서는 83.5%로 떨어지며 변수 이름 패턴에 과적합된 것으로 나타났다.
• 이름이 변경된 그래프로 훈련한 모델는 원래 및 이름이 변경된 세트에서 모두 89.9%의 정확도를 유지하여 변수 이름 변경에 대한 강인성과 일반화 능력을 입증했다.
• 절단 분석 결과, 메시지 전파 단계 수가 0인 모델도 81.5%의 정확도를 기록하여 노드 수준의 특징(예: 함수 및 상수 이름)이 기여도가 크다는 것을 시사했다.
• 메시지 전파 단계 수가 많아질수록 성능이 향상되며, 3~4단계에서 최고에 도달하고 이후에는 수익 감소가 나타나, 국소 그래프 이웃(반경 3 이내)이 대부분의 관련 구조적 정보를 포괄함을 시사했다.
• t-SNE 시각화 결과, 유사한 임베딩을 가진 노드들은 유사한 국소 그래프 패턴을 가지며, 이는 모델이 의미적으로 일관되고 해석 가능한 표현을 학습할 수 있음을 검증했다.