[논문 리뷰] Graph Neural Reasoning for 2-Quantified Boolean Formula Solvers

Zhanfu Yang, Fei Wang외 3명|arXiv (Cornell University)|2019. 04. 27.

Graph Theory and Algorithms참고 문헌 14인용 수 9

한 줄 요약

이 논문은 2-양자화된 부울 공식(2QBF) 문제를 위한 그래프 신경망(GNN)-기반 솔버와 히우리스틱을 조사하며, 후보자와 반례를 순위 매김하여 추론을 향상시키는 GNN 강화 CEGAR 기반 솔버를 제안한다. GNN의 불완전한 무족제성 추론 능력에도 불구하고, 저자들은 하이브리드 GNN 히우리스틱을 통해 2QBF 인스턴스에서 성능 향상을 달성하였으며, GNN3는 만족 가능 및 불만족 가능한 공식 모두에서 베이스라인을 초월한다.

ABSTRACT

In this paper, we investigate the feasibility of learning GNN (Graph Neural Network) based solvers and GNN-based heuristics for specified QBF (Quantified Boolean Formula) problems. We design and evaluate several GNN architectures for 2QBF formulae, and conjecture that GNN has limitations in learning 2QBF solvers. Then we show how to learn a heuristic CEGAR 2QBF solver. We further explore generalizing GNN-based heuristics to larger unseen instances, and uncover some interesting challenges. In summary, this paper provides a comprehensive surveying view of applying GNN-embeddings to specified QBF solvers, and aims to offer guidance in applying ML to more complicated symbolic reasoning problems.

연구 동기 및 목표

• GNN를 사용하여 2QBF 솔버와 히우리스틱을 학습할 수 있는지의 타당성을 조사하는 것.
• 표준 GNN가 2QBF에서 무족제성에 대해 추론하지 못하는 문제를 해결하는 것 — QBF 솔빙에서 핵심적인 제약 요소이기 때문이다.
• 각 공식에 대해 다수의 GNN 임bedding을 사용하지 않도록 하여 추론 오버헤드를 줄이는 GNN 기반 히우리스틱의 설계 및 평가.
• GNN 기반 히우리스틱이 더 큰, 미리 보지 않은 2QBF 인스턴스로 일반화되는 정도를 탐색하는 것.
• 2QBF 솔빙과 같은 복잡한 상징적 추론 작업에 머신러닝을 적용하는 데에 대한 지침 제공.

제안 방법

• ∀- 및 ∃-리터럴에 대해 별도의 신경 모듈을 사용하여 2QBF에 맞게 GNN 아키텍처를 조정.
• 후보자(증거)와 반례를 순위 매기는 GNN 기반 히우리스틱을 통합한 CEGAR 기반 솔버 설계.
• 절대 만족도 및 무족제성 코어 분석 기반으로 후보자와 반례의 순위 점수를 GNN을 사용해 계산.
• 어려움 기반 점수, 무족제성 코어 탐지, 절대 만족 수와 같은 다중 순위 신호 통합.
• SAT 솔빙 및 코어 추출에서 유도된 점수를 사용하여 레이블이 부여된 2QBF 인스턴스에서의 지도 학습을 통한 GNN 훈련.
• 후보자와 반례 순위 매김을 하나의 GNN 아키텍처(GNN3)에 통합하여 전체 솔버 성능 향상.

실험 결과

연구 질문

• RQ1 GNN가 무족제성에 대해 추론하는 데 어려움을 겪는 점을 감안할 때, 표준 GNN 아키텍처가 2QBF 문제를 효과적으로 학습할 수 있는가?
• RQ2 GNN 기반 히우리스틱은 추론 비용을 최소화하면서 CEGAR 기반 2QBF 솔버의 성능을 어떻게 향상시킬 수 있는가?
• RQ3 GNN 기반 히우리스틱은 더 큰, 미리 보지 않은 2QBF 인스턴스로 얼마나 잘 일반화되는가?
• RQ4 후보자와 반례 순위 매김을 통합하면 개별 순위 전략보다 솔버 성능 향상이 이루어지는가?
• RQ5 GNN는 2QBF에서 무족제성 코어와 같은 전역 추론 패턴을 포착하는 데에 어떤 한계를 지니는가?

주요 결과

• 표준 GNN 기반 SAT 솔버는 GNN가 무족제성을 추론하지 못함에 따라 2QBF로 일반화되지 않는다.
• 절대 만족도 기반 반례 순위 매김은 만족 가능한 2QBF 인스턴스에서 성능 향상을 이끌지만, 불만족 가능한 경우에는 그렇지 않다.
• GNN3는 후보자에 대해 어려움 기반 순위 매김과 반례에 대해 절대 만족도 기반 순위 매김을 통합하여 모든 테스트 세트에서 최고의 성능을 기록한다.
• 테스트 세트에서 GNN3는 불만족 가능한 인스턴스의 해결 시간을 12.008초로 줄였고, 만족 가능한 인스턴스는 24.295초로 기록하여 MaxSAT 및 기타 GNN 변종을 모두 압도한다.
• 결과적으로, GNN는 심지어 점수 기반 메커니즘을 강화하더라도 무족제성 코어와 같은 전역 성질에 대한 추론을 본질적으로 어렵게 한다는 점을 시사한다.
• 다중 순위 신호를 사용한 지도 학습은 개별 인스턴스별 GNN 추론보다 더 나은 일반화와 낮은 추론 오버헤드를 제공한다.