[논문 리뷰] Graph Neural Reasoning May Fail in Certifying Boolean Unsatisfiability

Ziliang Chen, Zhanfu Yang|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks참고 문헌 20인용 수 6

한 줄 요약

이 논문은 그래프 신경망(GNNs)이 메시지 전달 메커니즘의 본질적 한계로 인해 CNF 공식에서 부울 불만족불가능성(UNSAT)을 인증하지 못함을 보여준다. 비록 GNNs가 SAT 해법을 위한 국소 탐색 히우리스틱인 WalkSAT을 시뮬레이션할 수 있지만, 특히 전수 검색과 공식 단순화가 필요한 2QBF 문제와 같이 UNSAT를 증명하기 위해 필요한 전역적 추론을 포착하지 못한다.

ABSTRACT

It is feasible and practically-valuable to bridge the characteristics between graph neural networks (GNNs) and logical reasoning. Despite considerable efforts and successes witnessed to solve Boolean satisfiability (SAT), it remains a mystery of GNN-based solvers for more complex predicate logic formulae. In this work, we conjectures with some evidences, that generally-defined GNNs present several limitations to certify the unsatisfiability (UNSAT) in Boolean formulae. It implies that GNNs may probably fail in learning the logical reasoning tasks if they contain proving UNSAT as the sub-problem included by most predicate logic formulae.

연구 동기 및 목표

• 부울 불만족불가능성(UNSAT)을 인증하는 데 GNNs가 학습할 수 있는지 조사하기 위해.
• 표준 GNN 메시지 전달 메커니즘이 UNSAT를 증명하기 위해 필요한 전역적 추론을 포착하는 데에 한계가 있음을 분석하기 위해.
• 기존의 SAT 솔버(DPLL, CDCL 등)와 국소 탐색 방법(WalkSAT 등)과의 비교를 통해 구조적 불일치를 규명하기 위해.
• 2QBF 문제에서의 추론 과정을 GNNs가 시뮬레이션할 수 있는지 평가하기 위해.
• 이전 연구에서 관찰된 바와 같이, 데이터 기반 GNNs가 SAT 및 2QBF 문제에서 랜덤 추측과 유사한 성능을 보이는 이유를 명확히 하기 위해.

제안 방법

• CNF 공식을 이원 그래프로 표현하여, 리터럴과 절에 각각 별도의 노드를 할당하고, GNN 메시지 전달을 통해 임bedding을 전파하기.
• 최적의 집계 함수를 정의함(Eq. 4): 모든 해당 리터럴을 포함하는 절이 만족되면 리터럴 임베딩을 0으로 설정하여, WalkSAT의 만족하지 않은 절 선택 방식을 모방함.
• 랜덤 벡터 주입(Eq. 5–6)을 사용하여, 만족하지 못하는 절 내에서 변수를 무작위로 뒤집는 것을 시뮬레이션함으로써 WalkSAT의 국소 탐색 히우리스틱을 모방함.
• 만족하지 못할 경우 절 임베딩이 0이 되도록 정의함(Eq. 7), 이로써 집계 함수가 만족하지 못하는 절에 나타나는 리터럴을 탐지할 수 있음.
• GNN의 업데이트 규칙(Eq. 4–7)이 WalkSAT의 반복적 과정을 공동으로 시뮬레이션함을 보여줌. 모든 절이 만족될 경우 수렴함.
• GNN이 DPLL 또는 CDCL와 같은 완전한 UNSAT 솔버에서 사용하는 공식 단순화 및 변수 할당 전략을 시뮬레이션하지 못함을 분석함.

실험 결과

연구 질문

• RQ1 GNNs는 CNF 공식에서 부울 불만족불가능성(UNSAT)을 증명하기 위해 필요한 완전한 추론 과정을 시뮬레이션할 수 있는가?
• RQ2 SAT 문제에서는 성공했지만 2QBF 문제에서는 랜덤 추측을 초월하지 못하는 GNN 기반 모델은 왜 실패하는가?
• RQ3 GNN 메시지 전달 메커니즘은 WalkSAT과 같은 국소 탐색 히우리스틱의 행동을 어느 정도 모방할 수 있는가?
• RQ4 GNNs가 UNSAT 증명에 필요한 전역적 추론을 포착하지 못하게 하는 구조적 또는 표현적 한계는 무엇인가?
• RQ5 GNNs가 UNSAT 인증에 실패하는 것은 메시지 전달의 단순성 때문인가, 더 깊은 아키텍처적 개선이 필요한가?

주요 결과

• Eq. 4–7에 의해 형식화된 정교하게 설계된 집계 및 조합 함수를 통해 GNNs는 WalkSAT의 국소 탐색 히우리스틱을 시뮬레이션할 수 있음.
• GNN의 메시지 전달 메커니즘은 DPLL 및 CDCL와 같은 완전한 SAT 솔버에서 사용하는 공식 단순화 및 변수 제거 단계를 시뮬레이션하지 못함.
• 모든 절이 만족될 경우, GNN은 리터럴 임베딩이 안정적인 고정점으로 수렴함을 보여주며, 이는 WalkSAT의 정지 조건이 성공적으로 시뮬레이션되었음을 시사함.
• GNN은 2QBF 문제에서 UNSAT를 인증하지 못함. 이는 체계적 탐색과 공식 축소 기능이 부족하기 때문이며, 이는 불만족불가능성 증명에 필수적임.
• UNSAT 증명에 실패하는 것이 데이터 기반 GNNs가 2QBF에서 랜덤 추측과 유사한 성능을 보이는 이유를 설명함. 이는 이전 연구에서 보고된 lin.
• 신뢰 전파(BP)는 반복적으로 편향된 ∀-변수를 할당하고 공식을 단순화함으로써 2QBF에서 불만족불가능성의 증거를 찾을 수 있음. 이 능력은 현재의 일회성 GNN 임베딩을 초월함.