[논문 리뷰] Enhancing SAT solvers with glue variable predictions

Jesse Michael Han|arXiv (Cornell University)|2020. 07. 06.

Constraint Satisfaction and Optimization참고 문헌 35인용 수 6

한 줄 요약

이 논문은 지도학습과 강화학습을 활용해 가벼운 신경망을 훈련시켜 충돌 절차 생성에 핵심적인 역할을 하는 글루 변수를 예측함으로써 SAT 솔버의 성능을 향상시키는 방법을 제안한다. 이 예측을 바탕으로 주기적으로 분기 히우리스틱을 재조정함으로써 GPU 가속을 요구하지 않음에도 불구하고 SATCOMP 2018, SATRACE 2019 및 SHA-1 전이 공격 벤치마크에서 최신 기술인 CaDiCaL 솔버의 성능을 향상시킨다.

ABSTRACT

Modern SAT solvers routinely operate at scales that make it impractical to query a neural network for every branching decision. NeuroCore, proposed by Selsam and Bjorner, offered a proof-of-concept that neural networks can still accelerate SAT solvers by only periodically refocusing a score-based branching heuristic. However, that work suffered from several limitations: their modified solvers require GPU acceleration, further ablations showed that they were no better than a random baseline on the SATCOMP 2018 benchmark, and their training target of unsat cores required an expensive data pipeline which only labels relatively easy unsatisfiable problems. We address all these limitations, using a simpler network architecture allowing CPU inference for even large industrial problems with millions of clauses, and training instead to predict {\em glue variables}---a target for which it is easier to generate labelled data, and which can also be formulated as a reinforcement learning task. We demonstrate the effectiveness of our approach by modifying the state-of-the-art SAT solver CaDiCaL, improving its performance on SATCOMP 2018 and SATRACE 2019 with supervised learning and its performance on a dataset of SHA-1 preimage attacks with reinforcement learning.

연구 동기 및 목표

• GPU 추론이 필요하고 실제 산업 벤치마크에서 일반화에 어려움을 겪는 기존 딥러닝 기반 SAT 해결 방법의 한계를 해결하기 위해.
• 글루 변수 예측을 위한 더 단순하고 CPU 호환 가능한 신경망 아키텍처를 사용하여 전역적으로 정보를 갖춘 히우리스틱의 높은 비용을 극복하기 위해.
• 예측된 글루 변수를 기반으로 CaDiCaL SAT 솔버의 분기 히우리스틱을 주기적으로 재조정하여 최신 기술인 CaDiCaL 솔버의 성능을 향상시키기 위해.
• 지도학습과 강화학습을 모두 활용하여 SATCOMP 2018, SATRACE 2019 및 SHA-1 전이 공격 데이터셋을 포함한 다양한 벤치마크에서의 효과를 입증하기 위해.
• 글루 변수는 더 접근하기 쉬우며 더 풍부한 훈련 신호이므로, 고성능 SAT 솔버에 신경망을 통합하기 위한 확장 가능한 하드웨어에 종속되지 않는 방법을 제공하기 위해.

제안 방법

• 충돌 절차에서 효율성을 크게 향상시키는 글루 절차에 관여할 가능성이 높은 변수를 예측하기 위해 작은 효율적인 피드포워드 신경망을 훈련한다.
• 기존 SAT 해결 실행에서 유도된 레이블이 부여된 데이터를 사용하여 지도학습을 수행하며, 충돌 해결 과정에서 절차 분석을 통해 글루 변수를 식별한다.
• 글루 변수 예측을 강화학습 문제로 설정하여 전문 문제 유형(예: SHA-1 전이 공격)에 특화된 히우리스틱을 학습한다.
• 예측된 글루 변수 점수를 기반으로 예측된 글루 변수 점수를 기반으로 EVSIDS 분기 히우리스틱을 주기적으로 재조정하여 CaDiCaL SAT 솔버에 통합함으로써, 각 결정 단계에서의 추론을 피한다.
• 가벼운 아키텍처를 사용하여 CPU 전용 추론을 보장함으로써, 수백만 개의 절차를 포함한 대규모 산업 문제에 대한 확장성을 확보한다.
• 모든 분기 단계에서가 아니라 전략적 결정 지점에서만 신경망을 쿼리함으로써 전역 추론 비용을 분산 처리한다.

실험 결과

연구 질문

• RQ1 GPU 가속을 요구하지 않으며 글루 변수를 예측하는 가벼운 신경망이 최신 기술인 SAT 솔버의 성능을 향상시킬 수 있는가?
• RQ2 글루 변수 예측은 불만족 핵심 예측에 의존하는 기존 접근 방식에 비해 더 확장 가능하고 데이터 효율적인 대안이 될 수 있는가?
• RQ3 강화학습은 특히 전문적인 벤치마크에서 글루 변수 예측을 위한 문제 특화 히우리스틱을 효과적으로 학습하는 데 사용될 수 있는가?
• RQ4 글루 변수 예측 기반의 주기적 재조정이 다양한 SAT 벤치마크에서 무작위 또는 기본 히우리스틱과 비교하여 어떻게 성능을 냈는가?
• RQ5 글루 변수 예측은 실제 산업 및 암호학적 문제 인스턴스에서 결정 효율성과 해결 시간을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법인 neuro-cadical은 SATCOMP 2018에서 PAR-2 점수 3194.81을 기록하여 베이스라인 CaDiCaL 솔버(3249.99)와 랜덤 베이스라인(3293.62)을 모두 앞선다.
• SATRACE 2019에서 neuro-cadical은 PAR-2 점수 4344.87을 기록하여 베이스라인 CaDiCaL(4405.69)과 랜덤 베이스라인(4419.33)보다 유의미하게 뛰어나다.
• SHA-1 전이 공격 벤치마크에서 neuro-cadical은 PAR-2 점수 279.29를 기록하여 베이스라인 CaDiCaL(282.78)보다 1.23% 우수하고, 랜덤 베이스라인(304.19)보다 8.19% 뛰어나다.
• SATCOMP 2018에서 neuro-cadical은 베이스라인 솔버보다 66.5%의 문제에서 더 높은 GLR(Goodness of Solution Ratio)를 기록하고, 54.9%의 문제에서 평균 글루 수준이 낮아졌다.
• SATRACE 2019에서 neuro-cadical은 54.2%의 문제에서 더 높은 GLR를 기록하고, 48.8%의 문제에서 평균 글루 수준이 낮아지며, 두 베이스라인보다 뛰어난 성능을 보였다.
• neuro-cadical의 강화학습 버전은 SHA-1 전이 공격 데이터셋에서 뛰어난 성능을 기록하여 정책 기반 글루 예측이 도메인 특화 최적화에 실현 가능함을 입증했다.