[논문 리뷰] Improving Graph Neural Network Representations of Logical Formulae with Subgraph Pooling

Maxwell Crouse, Ibrahim Abdelaziz외 5명|arXiv (Cornell University)|2019. 11. 15.

Semantic Web and Ontologies참고 문헌 41인용 수 23

한 줄 요약

이 논문은 로직 공식의 임베딩을 향상시키기 위해 하위그래프 풀링과 DAG-구조화된 공식에 대한 주의 기반 집계를 활용하는 새로운 그래프 신경망 아키텍처를 제안한다. 구조 인식형 노드 임베딩과 동적 풀링을 통해 전제와 추측을 함께 모델링함으로써, 일阶논리(Mizar)와 고계논리(Holstep) 모두에서 전제 선택 및 증명 단계 분류 작업에서 최신 기술 수준의 성능을 달성하였으며, 대규모 이론 환경에서 E 증명기의 성공률을 61.6% 향상시켰다.

ABSTRACT

Recent advances in the integration of deep learning with automated theorem proving have centered around the representation of logical formulae as inputs to deep learning systems. In particular, there has been a growing interest in adapting structure-aware neural methods to work with the underlying graph representations of logical expressions. While more effective than character and token-level approaches, graph-based methods have often made representational trade-offs that limited their ability to capture key structural properties of their inputs. In this work we propose a novel approach for embedding logical formulae that is designed to overcome the representational limitations of prior approaches. Our architecture works for logics of different expressivity; e.g., first-order and higher-order logic. We evaluate our approach on two standard datasets and show that the proposed architecture achieves state-of-the-art performance on both premise selection and proof step classification.

연구 동기 및 목표

• 기존의 그래프 기반 방법이 공유되는 부분식과 변수의 양자화를 효과적으로 포착하지 못하는 표현 한계를 해결하기 위해.
• 이전 접근법에서 전제와 추측이 독립적으로 임베딩되는 것을 방지함으로써 공식 간 정보 흐름을 차단하는 문제를 해결하기 위해.
• 전체적인 구조적 맥락을 반영하는 노드 표현을 먼저 학습한 후, 구조 기반 메커니즘을 통해 이를 풀링하는 이단계 GNN 아키텍처를 설계하기 위해.
• 공식 쌍의 공동 주의 조절 임베딩을 통해 전제 선택 정확도를 향상시켜 전통적 증명기와의 효과적인 통합을 가능하게 하기 위해.
• 일阶논리(Mizar)와 고계논리(Holstep) 벤치마크에서의 평가를 통해 다양한 논리 체계 간 일반화 능력을 입증하기 위해.

제안 방법

• 이 방법은 이중 단계 아키텍처를 사용한다: 먼저 메시지 전달 GNN(MPNN, GCN, 또는 LSTM 기반 등)을 적용하여 국소적 이웃 정보 외의 정보를 포함하는 노드 임베딩을 생성한다.
• 논리 공식의 기초가 되는 DAG 구조에 기반해 동적으로 노드 임베딩을 집계하는 새로운 하위그래프 풀링 메커니즘인 DagPool 및 AttDagPool를 도입한다.
• 공유되는 부분식과 양자화 범위와 같은 논리적 하위구조를 존중하도록 설계되어, 의미적으로 유의미한 하위그래프 위에서 풀링을 수행하도록 학습한다.
• 동시에 적용되는 전제와 추측의 임베딩 간 정보 흐름을 조절하기 위해 국소화된 주의 기반 교환 메커니즘을 도입하여, 공식 간 맥락 통합을 가능하게 한다.
• 공식의 DAG 표현을 기반으로 작동함으로써 일阶논리와 고계논리 모두를 지원하며, 다양한 형식 체계 간의 논리적 구조를 유지한다.
• 대부분의 경우, 쌍으로 구성된 공식(전제-추측 또는 증명 단계-추측)에 대해 대조 학습을 사용하여 이종적으로 최적화한다.

실험 결과

연구 질문

• RQ1 DAG로 구조화된 논리 공식에 대해 하위그래프 풀링을 적용하면 국소적 이웃 집계를 넘어서는 GNN 표현을 향상시킬 수 있는가?
• RQ2 주의 기반 정보 교환을 통해 전제와 추측을 공동으로 모델링하면 전제 선택 및 증명 단계 분류 정확도가 향상되는가?
• RQ3 제안된 아키텍처는 일阶논리와 고계논리와 같은 다양한 논리 형식 체계에 일반화될 수 있는가?
• RQ4 이 방법을 전통적 증명기(예: E)의 전제 선택 모듈로 통합할 경우, 성능 향상 정도는 어느 정도인가?
• RQ5 MPNN, GCN, LSTM 등의 다양한 노드 임베딩 유형과 max, DagPool, AttDagPool 등의 풀링 전략 간의 성능 비교는 어떻게 이루어지는가?

주요 결과

• 제안된 방법은 전제 선택 및 증명 단계 분류 작업에서 Mizar(일阶논리) 및 Holstep(고계논리) 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였다.
• Mizar 데이터셋에서 최고 성능을 보인 변종(BidirDagLSTM + AttDagPool)은 81.0%의 정확도를 기록하여 이전 작업(예: MPNN + MaxPool의 76.9%)을 크게 앞서갔다.
• Holstep 데이터셋에서는 최고 성능 변종이 91.5%의 정확도를 달성하여 FormulaNet(90.0%) 및 CNN-LSTM(83.0%) 등의 이전 방법보다 통계적으로 유의미한 향상을 보였다.
• E 증명기의 전제 선택 모듈로 통합된 결과, E는 3,252개 문제 중 1,484개를 해결하였으며, 원래 성능(918개 해결) 대비 61.6% 향상되었고, p값 < 0.01이었다.
• 제거 분석을 통해 $ρ^{+}$ 노드 임베더와 DagPool/AttDagPool 풀링의 조합이 가장 우수한 성능을 냈으며, 주의 기반 풀링이 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 제거 분석 결과, 메시지 전달 라운드 수를 k=2를 초과해 늘여도 성능 향상이 거의 없었으며, 이는 두 라운드 내에서 수렴함을 시사한다.