[논문 리뷰] Graph Neural Networks and Boolean Satisfiability

Benedikt Bünz, Matthew Lamm|arXiv (Cornell University)|2017. 02. 12.

Computational Drug Discovery Methods참고 문헌 9인용 수 19

한 줄 요약

이 논문은 수작업 특징 공학 없이 연결 정규형(CNF) 공식을 그래프로 표현함으로써 그래프 신경망(GNNs)을 사용해 부울 만족 가능성(SAT) 문제를 분류하는 것을 제안한다. 주요 발견은 GNNs가 약한 지도 학습 환경에서 만족 가능과 불만족 가능한 인스턴스를 구분하는 데 성공하며, 딥 러닝이 SAT 문제의 본질적 구조적 특성을 포착할 수 있음을 보여준다.

ABSTRACT

In this paper we explore whether or not deep neural architectures can learn to classify Boolean satisfiability (SAT). We devote considerable time to discussing the theoretical properties of SAT. Then, we define a graph representation for Boolean formulas in conjunctive normal form, and train neural classifiers over general graph structures called Graph Neural Networks, or GNNs, to recognize features of satisfiability. To the best of our knowledge this has never been tried before. Our preliminary findings are potentially profound. In a weakly-supervised setting, that is, without problem specific feature engineering, Graph Neural Networks can learn features of satisfiability.

연구 동기 및 목표

• 딥 뉴럴 네트워크가 수작업 특징 공학에 의존하지 않고 부울 만족 가능성(SAT) 문제를 분류할 수 있는지 조사하는 것.
• 신경 모델이 학습 가능한 데 영향을 주는 SAT의 이론적 성질을 탐색하는 것.
• GNNs의 적용을 가능하게 하기 위해 CNF 공식의 그래프 기반 표현을 개발하는 것.
• GNNs가 다양한 문제 인스턴스 간에 만족 가능성 패턴을 약한 지도 학습 환경에서 일반화할 수 있는지 평가하는 것.
• GNNs를 트리 구조적 문법적 구조를 가정하는 Recursive Neural Networks(RNNs)와 같은 다른 신경 아키텍처와 비교하는 것.

제안 방법

• 노드가 변수와 절에 대응되고, 간선이 변수-절 인cidenc을 표현하는 이질적 그래프로 CNF 공식을 표현한다.
• 메시지 전파를 통해 그래프 구조를 기반으로 그래프 표현을 SAT 또는 UNSAT로 분류하기 위해 그래프 신경망(GNNs)을 적용한다.
• 문제 특화의 특징 공학 없이도 오직 SAT/UNSAT 레이블만을 사용하여 GNNs를 약한 지도 학습 방식으로 훈련한다.
• 기울기 기반 최적화를 가능하게 하기 위해 SAT 目적 함수의 미분 가능 근사치를 사용하며, 스텝 함수를 시그모이드 및 탄젠트 활성화 함수로 근사한다.
• 변수를 실수값 벡터로 표현하고 목적 함수를 미분 가능하게 하는 연속적 완화를 통한 신경 회로 해답기 구현.
• 클러스터링을 통한 절 벡터의 유사도 기반으로 CNF 공식에 인위적인 트리 구조를 부여한 Recursive Neural Networks(RNNs)와 성능을 비교한다.

실험 결과

연구 질문

• RQ1 그래프 신경망(GNNs)은 명시적 특징 공학 없이도 부울 만족 가능성 문제를 분류할 수 있는가?
• RQ2 예를 들어 절 대비 변수 비율과 같은 SAT의 이론적 성질은 그래프 구조의 CNF 공식에 대해 GNNs의 학습 가능성에 어떤 영향을 미치는가?
• RQ3 클러스터링을 통해 절에 인위적인 트리 구조를 도입함으로써 성능이 향상되거나 저하되는가? 직접적인 그래프 표현과 비교할 때 어떻게 되는가?
• RQ4 GNNs의 성능은 RNN과 같은 다른 신경 아키텍처와 SAT 분류 과제에서 어떻게 비교되는가?
• RQ5 엔드 투 엔드 학습을 통해 그래프 표현에 기반하여 신경망이 SAT 문제의 본질적 구조적 복잡성을 얼마나 잘 포착할 수 있는가?

주요 결과

• GNNs는 수작업 특징 공학 없이도 약한 지도 학습 환경에서 SAT 인스턴스를 성공적으로 분류하여 높은 정확도를 달성했다.
• 연속적 완화 기반 신경 SAT 해답기의 성능은 문제 크기가 증가함에 따라 떨어졌으며, 국소 최적점으로 인한 실패 비율이 증가했다.
• Recursive Neural Networks(RNNs)는 하위 문제를 구성하는 방식이 대부분 만족 가능할 가능성이 높아 모델에 강한 편향을 유도하여 SAT와 UNSAT 공식 간의 의미 있는 구분을 학습하지 못했다.
• 코사인 유사도 기반 클러스터링을 통해 절에 인위적인 트리 구조를 도입한 RNN 기반 접근법은 랜덤 기준선과 비교해도 성능 향상이 없었다.
• RNN의 실패는 논리적 논리합과 논리곱의 비재귀적, 교환법칙 성질로 인해 트리 구조 모델이 CNF 공식에 부적합함을 시사한다.
• GNN의 성공은 그래프 기반 표현이 분류에 핵심적인 구조적 특징을 유지하고 있음을 시사한다.