[論文レビュー] Transformer-based Machine Learning for Fast SAT Solvers and Logic Synthesis

Shi Feng, Chonghan Lee+4 more|arXiv (Cornell University)|Jul 15, 2021

Formal Methods in Verification参考文献 25被引用数 4

ひとこと要約

本論文は、変数と節の二部グラフ上で自己自己注意およびクロス自己注意メカニズムを用いた、MaxSAT問題を論理合成の文脈で解くための、1回の推論で完了するTransformerベースの1ショットモデルであるTRSATを提案する。並列的メッセージパッシングと反復的節満たしを活用することで、ヒューリスティック法および機械学習ベースのベースラインと比較して顕著な高速化を達成し、一般SATでは97%、DES回路では88.7%の完了率を達成した。

ABSTRACT

CNF-based SAT and MaxSAT solvers are central to logic synthesis and verification systems. The increasing popularity of these constraint problems in electronic design automation encourages studies on different SAT problems and their properties for further computational efficiency. There has been both theoretical and practical success of modern Conflict-driven clause learning SAT solvers, which allows solving very large industrial instances in a relatively short amount of time. Recently, machine learning approaches provide a new dimension to solving this challenging problem. Neural symbolic models could serve as generic solvers that can be specialized for specific domains based on data without any changes to the structure of the model. In this work, we propose a one-shot model derived from the Transformer architecture to solve the MaxSAT problem, which is the optimization version of SAT where the goal is to satisfy the maximum number of clauses. Our model has a scale-free structure which could process varying size of instances. We use meta-path and self-attention mechanism to capture interactions among homogeneous nodes. We adopt cross-attention mechanisms on the bipartite graph to capture interactions among heterogeneous nodes. We further apply an iterative algorithm to our model to satisfy additional clauses, enabling a solution approaching that of an exact-SAT problem. The attention mechanisms leverage the parallelism for speedup. Our evaluation indicates improved speedup compared to heuristic approaches and improved completion rate compared to machine learning approaches.

研究の動機と目的

• 反復的再トレーニングを必要とせず、任意のサイズのMaxSAT問題をスケーラブルに解く1ショットの機械学習モデルを構築すること。
• 注意メカニズムとグラフニューラルネットワークを組み合わせることで、ヒューリスティックSATソルバーおよび既存の機械学習ベースの手法を凌駕し、より高い精度と速度を実現すること。
• メタパスに基づく自己注意およびクロス自己注意を用いて、任意サイズのCNF式を並列的かつスケールフリーに処理できる仕組みを提供すること。
• 反復的精練ステップを統合することで、正確なSAT解に近づくソリューション品質を向上させること。
• 実世界の論理合成ベンチマーク上でモデルの性能を評価し、最先端のヒューリスティックおよびディープラーニングベースのソルバーと比較すること。

提案手法

• 変数と節の二部グラフを、異種ノードとして扱うことで、Transformerアーキテクチャを二部グラフに適応する。
• メタパスを用いて同種ノード間の自己注意を定義する（例：同じ節を共有する変数、または同じ変数を共有する節）。
• 異種ノード（変数と節）間のクロス自己注意を適用し、二部構造全体にわたり情報伝達を行う。
• 学習されたクエリ、キー、値を用いたメッセージパッシング機構を採用し、並列的にノード表現を更新する。
• 追加の節を再評価・満たすことでソリューション品質を向上させる反復的精練ステップを導入する。
• 合成および実世界のCNFインスタンス上でエンドツーエンドにトレーニングし、高い完了率でMaxSAT解を近似する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースのモデルは、任意のインスタンスサイズにスケーラブルでありながら、1回の推論と併せてMaxSAT問題で高い完了率を達成できるか？
• RQ2 二部グラフ上の注意ベースのメッセージパッシングは、逐次的またはRNNベースのアプローチと比較して、SAT問題の解法においてどのように優れているか？
• RQ3 自己注意およびクロス自己注意メカニズムは、CNF式内の複雑な変数-節相互作用をどの程度正確に捉えることができるか？
• RQ4 モデルが予測する部分解は、ヒューリスティックソルバーにおけるバックトラッキングの削減を促進し、正確なSATソルバーの高速化に寄与できるか？
• RQ5 変数および節の分布が異なる多様な論理合成ベンチマークにおいて、モデルの性能はどの程度スケーリングするか？

主な発見

• TRSATモデルは、一般SAT問題で97%、DES回路インスタンスで88.7%の完了率を達成し、ヒューリスティックおよび機械学習ベースのベースラインを上回った。
• PDPおよびWalkSATと比較して顕著な高速化を示し、すべてのテスト対象のグラフ構造で一貫して高い平均推論速度を達成した。
• RLベースのモデル（例：RLSAT）とは異なり、TRSATは大規模なグラフスケールへの一般化に対しても、発散を示さず安定したトレーニング性能を示した。
• 並列的メッセージパッシング機構により必要な反復回数が減少し、豊富な初期特徴伝達のおかげでより速い収束が実現された。
• アーキテクチャの変更なしに、ランダム3-SATや複雑な論理回路を含む多様なCNFインスタンスで高い性能を維持した。
• 反復的精練の統合により、ソリューション品質が向上し、正確なSAT解に近づいた一方で、速度は維持された。