[論文レビュー] SATformer: Transformer-Based UNSAT Core Learning

Zhengyuan Shi, Min Li+6 more|arXiv (Cornell University)|Sep 2, 2022

Software Engineering Research被引用数 4

ひとこと要約

SATformerは、最小不充足コア（MUC）を教師信号として用いることで、CNF形式の論理式から構文的特徴を捉えるためにグラフニューラルネットワーク（GNN）を用い、階層的トランスフォーマーを用いて複数の節間の相互作用をモデル化する、新しいトランスフォーマーに基づくブール充足問題（SAT）解法手法を提案する。この手法は、エンドツーエンドの学習ベースSATソルバーにおいて最先端の性能を達成しており、不充足性に寄与する節に注目することで、先行手法を上回っている。

ABSTRACT

This paper introduces SATformer, a novel Transformer-based approach for the Boolean Satisfiability (SAT) problem. Rather than solving the problem directly, SATformer approaches the problem from the opposite direction by focusing on unsatisfiability. Specifically, it models clause interactions to identify any unsatisfiable sub-problems. Using a graph neural network, we convert clauses into clause embeddings and employ a hierarchical Transformer-based model to understand clause correlation. SATformer is trained through a multi-task learning approach, using the single-bit satisfiability result and the minimal unsatisfiable core (MUC) for UNSAT problems as clause supervision. As an end-to-end learning-based satisfiability classifier, the performance of SATformer surpasses that of NeuroSAT significantly. Furthermore, we integrate the clause predictions made by SATformer into modern heuristic-based SAT solvers and validate our approach with a logic equivalence checking task. Experimental results show that our SATformer can decrease the runtime of existing solvers by an average of 21.33%.

研究の動機と目的

• 最小不充足コア（MUC）を用いた節レベルの教師信号への移行により、エンドツーエンドの学習ベースSATソルバーの性能を向上させること。
• 標準的なペアワイズ依存関係を超えた複雑な節間相互作用をモデル化するため、階層的トランスフォーマー・アーキテクチャを導入すること。
• MUCを形成する可能性の高い節に注目できるようにアテンション機構を強化し、不充足性の検出能力を向上させること。
• MUCガイド付きマルチタスク学習が全体のSAT解法性能を向上させることを実証すること。

提案手法

• CNF形式の論理式から節の埋め込みを生成するために、グラフニューラルネットワーク（GNN）が用いられ、節レベルの構造的特徴を捉える。
• モデルは、節を高レベルの単位にグループ化することで、さまざまな粒度の多節関係をモデル化できる階層的トランスフォーマーを採用している。
• 自己注意の重みは、MUC予測を教師信号として用い、MUCに寄与する節を優先するように動的に調整される。
• マルチタスク学習により、SAT解法とMUC予測を統合し、充足可能性と不充足性への節の寄与度の両方を同時に最適化する。
• 訓練のたびに10イテレーションごとに節の順序をランダムに変更することで、頑健性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MUCを教師信号として学習させることで、エンドツーエンドの学習ベースSATソルバーの性能向上が図れるか？
• RQ2 階層的トランスフォーマー・アーキテクチャは、標準的なペアワイズ自己注意よりも、SAT解法における多節間相互作用をより効果的に捉えられるか？
• RQ3 MUCガイド付きアテンションは、モデルの不充足性検出能力をどのように向上させるか？
• RQ4 MUC予測を伴うマルチタスク学習は、全体のSAT解法精度をどの程度向上させるか？

主な発見

• SATformerはSR(3–10)で94%、SR(20)で77%、SR(40)で68%、SR(60)で61%の精度を達成しており、これは大規模なインスタンスでランダム推測に劣化するSATformer-NoHierを大きく上回っている。
• 階層構造により、節の順序が入れ替わった場合（例：φU2）でも不充足インスタンスを正しく予測できており、これは単一レベルのモデルが失敗するのと対照的で、節の順序変更に対して頑健であることを示している。
• MUCの教師信号を削除したSATformer-NoCoreでは、すべてのデータセットで精度が低下し、MUC予測が性能向上の主要因であることが確認された。
• 階層的モデリングを欠いたSATformer-NoHierは、SR(3–10)でたった70%の精度にとどまり、これはペアワイズ自己注意だけでは複雑な節間相互作用を扱うには不十分であることを示している。