[논문 리뷰] Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?

Vitaly Kurin, Saad Godil외 2명|arXiv (Cornell University)|2019. 09. 26.

Software Engineering Research인용 수 11

한 줄 요약

이 논문은 그래프 신경망(GNN)과 딥 Q-학습을 사용하여 CDCL SAT 솔버를 위한 강화학습 기반의 분기 히어리스틱인 Graph-Q-SAT을 제안한다. 문제의 구조에서 학습을 통해 VSIDS 대비 반복 횟수를 2-3배 감소시키며, 5배 더 큰 크기의 불만족가능한 인스턴스로 일반화되며, 데이터 효율성과 제로샷 전이를 보이며, SAT 해결에서 확장 가능하고 일반화 가능한 히어리스틱 학습의 강력한 잠재력을 보여준다.

ABSTRACT

We present Graph-$Q$-SAT, a branching heuristic for a Boolean SAT solver trained with value-based reinforcement learning (RL) using Graph Neural Networks for function approximation. Solvers using Graph-$Q$-SAT are complete SAT solvers that either provide a satisfying assignment or proof of unsatisfiability, which is required for many SAT applications. The branching heuristics commonly used in SAT solvers make poor decisions during their warm-up period, whereas Graph-$Q$-SAT is trained to examine the structure of the particular problem instance to make better decisions early in the search. Training Graph-$Q$-SAT is data efficient and does not require elaborate dataset preparation or feature engineering. We train Graph-$Q$-SAT using RL interfacing with MiniSat solver and show that Graph-$Q$-SAT can reduce the number of iterations required to solve SAT problems by 2-3X. Furthermore, it generalizes to unsatisfiable SAT instances, as well as to problems with 5X more variables than it was trained on. We show that for larger problems, reductions in the number of iterations lead to wall clock time reductions, the ultimate goal when designing heuristics. We also show positive zero-shot transfer behavior when testing Graph-$Q$-SAT on a task family different from that used for training. While more work is needed to apply Graph-$Q$-SAT to reduce wall clock time in modern SAT solving settings, it is a compelling proof-of-concept showing that RL equipped with Graph Neural Networks can learn a generalizable branching heuristic for SAT search.

연구 동기 및 목표

• 강화학습을 사용하여 데이터 효율적이고 일반화 가능한 SAT 솔버 분기 히어리스틱을 개발하기 위해.
• 도메인 전문 지식에 의존하지 않고 수작업으로 만든 히어리스틱(예: VSIDS)을 대체하거나 향상시키기 위해.
• 그래프 신경망이 다양한 크기와 유형의 SAT 문제 간의 일반화를 가능하게 하는지 평가하기 위해.
• SAT 해결에서 제로샷 전이와 벽시계 시간 향상 여부를 조사하기 위해.
• GNN과 가치 기반 강화학습을 조합하여 상징적 추론 작업에 적용할 수 있는지의 타당성을 입증하기 위해.

제안 방법

• 변수를 노드로, 절들을 간선으로 사용하는 CNF 공식의 그래프 표현을 사용하여, 순열 및 변수 재라벨링 불변성을 확보한다.
• Q-학습에서 상태-행동 쌍의 Q-값을 추정하기 위해 그래프 신경망(GNN)을 함수 근사기로 활용한다.
• 이진 보상 신호를 사용하여 딥 Q-학습(DQN 스타일)으로 모델을 훈련한다: 해결 시 +1, 제한 시간 내 해결 실패 시 -1.
• 검색 중 환경 상호작용과 정책 학습을 가능하게 하기 위해 MiniSat 솔버와 인터페이스를 구축한다.
• 복잡한 특징 공학을 피하기 위해 변수의 차수와 절 수 기반의 간단한 상태 표현을 사용한다.
• CDCL 솔버의 분기 히어리스틱만 수정하여 완전성과 정확성을 유지한다.

실험 결과

연구 질문

• RQ1 GNN를 활용한 Q-학습이 다양한 크기의 SAT 문제 인스턴스 간에 일반화 가능한 분기 히어리스틱을 학습할 수 있는가?
• RQ2 학습된 히어리스틱이 반복 횟수와 벽시계 시간 측면에서 표준 VSIDS 히어리스틱을 초월하는가?
• RQ3 학습 분포보다 훨씬 큰 문제나 불만족가능(unSAT) 인스턴스로 일반화 가능한가?
• RQ4 훈련에 사용된 작업 유형과 다른 작업 유형에서 테스트했을 때 모델이 제로샷 전이를 보이는가?
• RQ5 훈련 과정은 얼마나 데이터 효율적인가? 예를 들어, 단일 문제 인스턴스로도 성능 향상을 달성할 수 있는가?

주요 결과

• Graph-Q-SAT는 훈련 분포 내 문제에서 VSIDS 대비 해결에 필요한 반복 횟수를 2-3배 감소시킨다.
• 모델은 불만족가능(unSAT) 인스턴스로도 일반화되어 만족가능한 문제와 유사한 반복 횟수 감소 효과를 보인다.
• 훈련 세트보다 최대 5배 더 많은 변수를 가진 문제로도 일반화되며, 성능 향상이 유지된다.
• 반복 횟수 감소는 더 큰 문제에서 벽시계 시간 감소로 이어지며, 실용적인 성능 향상을 시사한다.
• 훈련에 사용된 작업 유형과 다른 작업 유형에서 테스트했을 때도 양호한 제로샷 전이를 보였다.
• 단일 SAT 문제 인스턴스로도 훈련을 수행했을 때도 측정 가능한 성능 향상이 나타나, 높은 데이터 효율성을 입증한다.