[논문 리뷰] Transformer-based Machine Learning for Fast SAT Solvers and Logic Synthesis

Shi Feng, Chonghan Lee외 4명|arXiv (Cornell University)|2021. 07. 15.

Formal Methods in Verification참고 문헌 25인용 수 4

한 줄 요약

이 논문은 변수와 절의 이분 그래프에 대해 자기주의 및 교차주의 메커니즘을 사용하는 Transformer 기반의 one-shot 모델인 TRSAT를 제안한다. 이는 논리 합성에서 MaxSAT 문제를 해결하기 위해 설계되었으며, 병렬 메시지 전달과 반복적 절 만족 기법을 통해 히우리스틱 및 기계학습 기반 기준 대비 뚜렷한 속도 향상을 이룬다. 일반 SAT 문제에서 97%의 완료율을 달성했고, DES 회로에서 88.7%의 완료율을 기록했다.

ABSTRACT

CNF-based SAT and MaxSAT solvers are central to logic synthesis and verification systems. The increasing popularity of these constraint problems in electronic design automation encourages studies on different SAT problems and their properties for further computational efficiency. There has been both theoretical and practical success of modern Conflict-driven clause learning SAT solvers, which allows solving very large industrial instances in a relatively short amount of time. Recently, machine learning approaches provide a new dimension to solving this challenging problem. Neural symbolic models could serve as generic solvers that can be specialized for specific domains based on data without any changes to the structure of the model. In this work, we propose a one-shot model derived from the Transformer architecture to solve the MaxSAT problem, which is the optimization version of SAT where the goal is to satisfy the maximum number of clauses. Our model has a scale-free structure which could process varying size of instances. We use meta-path and self-attention mechanism to capture interactions among homogeneous nodes. We adopt cross-attention mechanisms on the bipartite graph to capture interactions among heterogeneous nodes. We further apply an iterative algorithm to our model to satisfy additional clauses, enabling a solution approaching that of an exact-SAT problem. The attention mechanisms leverage the parallelism for speedup. Our evaluation indicates improved speedup compared to heuristic approaches and improved completion rate compared to machine learning approaches.

연구 동기 및 목표

• 반복적 재학습 없이도 확장 가능하고 one-shot 기계학습 모델을 개발하여 논리 합성에서 MaxSAT 문제를 해결하는 것.
• 정확도와 속도 향상을 위해 어텐션 메커니즘과 그래프 신경망을 융합하여 히우리스틱 SAT 솔버 및 기존 기계학습 기반 접근법을 초월하는 것.
• 메타패스 기반 자기주의 및 교차주의 어텐션을 사용하여 임의의 크기의 CNF 공식을 병렬적이고 척도에 구애받지 않는 방식으로 처리하는 것.
• 반복적 정밀 조정 단계를 통합하여 정확한 SAT 해에 가까운 해 품질을 향상시키는 것.
• 실세계 논리 합성 벤치마크에서 모델 성능을 평가하고 최신 히우리스틱 및 딥러닝 솔버와 비교하는 것.

제안 방법

• 변수와 절의 이분 그래프에 대해 Transformer 아키텍처를 적응시켜 이질적인 노드로 간주한다.
• 메타패스를 사용해 동일한 유형의 노드 간 자기주의 어텐션을 정의한다—예를 들어 동일한 절을 공유하는 변수 또는 동일한 변수를 공유하는 절.
• 이질적인 노드(변수와 절) 간에 교차주의 어텐션을 적용하여 이분 구조를 따라 정보를 전파한다.
• 학습된 쿼리, 키, 밸류를 사용한 메시지 전달 메커니즘을 통해 병렬로 노드 표현을 업데이트한다.
• 추가 절을 재평가하고 만족시키는 반복적 정밀 조정 단계를 도입하여 해 품질을 향상시킨다.
• 합성 및 실세계 CNF 인스턴스에서 엔드 투 엔드로 학습하여 높은 완료율로 MaxSAT 해를 근사한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 모델은 임의의 인스턴스 크기에 대해 일괄 처리 추론과 확장성을 유지하면서도 MaxSAT 문제에서 높은 완료율을 달성할 수 있는가?
• RQ2 이분 그래프에서 어텐션 기반 메시지 전달 방식은 SAT 문제 해결에 있어 순차적 또는 RNN 기반 접근법과 비교해 어떻게 다를까?
• RQ3 자기주의 및 교차주의 어텐션 메커니즘은 CNF 공식 내 복잡한 변수-절 상호작용을 어느 정도 정확히 포착할 수 있는가?
• RQ4 모델이 예측한 부분 해는 히우리스틱 솔버의 백트래킹을 줄여 정확한 SAT 솔버의 가속화에 기여할 수 있는가?
• RQ5 다양한 논리 합성 벤치마크에서 변수 및 절 분포가 상이한 상황에서 모델의 성능은 어떻게 스케일링되는가?

주요 결과

• TRSAT 모델은 일반 SAT 문제에서 97%의 완료율을 기록했고, DES 회로 인스턴스에서는 88.7%의 완료율을 달성하여 히우리스틱 및 기계학습 기반 기준을 모두 초월했다.
• PDP 및 WalkSAT 대비 뚜렷한 속도 향상을 보였으며, 모든 테스트된 그래프 구조에서 일관되게 높은 평균 추론 속도를 기록했다.
• RL 기반 모델인 RLSAT와 달리, TRSAT는 더 큰 그래프 스케일로 일반화할 때조차 진동 없이 안정적인 학습 성능을 보였다.
• 병렬 메시지 전달 메커니즘이 필요한 반복 횟수를 줄여 richer 초기 특징 전파 덕분에 더 빠른 수렴을 가능하게 했다.
• 아키텍처 변경 없이도 랜덤 3-SAT 및 복잡한 논리 회로를 포함한 다양한 CNF 인스턴스에서 높은 성능을 유지했다.
• 반복적 정밀 조정 통합으로 해 품질이 향상되어 정확한 SAT 해에 더 가까워졌고, 속도는 유지되었다.