[論文レビュー] Learning a SAT Solver from Single-Bit Supervision

Daniel Selsam, Matthew Lamm+4 more|arXiv (Cornell University)|Feb 11, 2018

Constraint Satisfaction and Optimization参考文献 24被引用数 189

ひとこと要約

NeuroSATはSAT/UNSATを予測するだけを学習したメッセージパッシングニューラルネットワークであり、より多くの反復を実行することによって満たす割り当てをデコードでき、より大きな/異なるSAT問題を解くことができる。

ABSTRACT

We present NeuroSAT, a message passing neural network that learns to solve SAT problems after only being trained as a classifier to predict satisfiability. Although it is not competitive with state-of-the-art SAT solvers, NeuroSAT can solve problems that are substantially larger and more difficult than it ever saw during training by simply running for more iterations. Moreover, NeuroSAT generalizes to novel distributions; after training only on random SAT problems, at test time it can solve SAT problems encoding graph coloring, clique detection, dominating set, and vertex cover problems, all on a range of distributions over small random graphs.

研究の動機と目的

• 最小限の監督でSAT分類器として訓練されることで、SAT問題を解くことを学習するニューラルネットワークを開発する。
• SAT問題のグラフベースのエンコーディングを通じて、順列不変性と negation 不変性を強制する。
• モデルがより大きな問題を解く能力と異なるドメインへの転送を示す。
• 解法はネットワークの活性化から解をデコードすることによって達成できることを示す。
• unsatコア検出とそれを用いた矛盾証明への活用を探る。

提案手法

• SAT問題をリテラルノードと節ノードを持つ二部グラフとしてエンコードし、補集合リテラルエッジを用いる。
• 反復ごとに2段階の更新（節->リテラル、リテラル->節）を行うメッセージパッシングニューラルネットワーク（NeuroSAT）を用い、状態更新にはLSTMを用いる。
• グラフベースのトポロジとリテラル補集合関係によって、順列不変性と negation 不変性を維持する。
• T回の反復後にリテラルごとにスカラー投票を計算し、シグモイド損失を用いて充足性を予測する。
• 1ビットラベル付きデータセットをSR(n)から生成して訓練する。1つの充足可能と1つの充足不能なインスタンスは1つのリテラルの差で異なる。
• 最終リテラル埋め込みからクラスタリングを用いて充足解のデコードを実演する。

実験結果

リサーチクエスチョン

• RQ1 SAT問題を分類するだけを学習したニューラルネットワークは充足解を見つける手順を学べるか。
• RQ2 NeuroSATは訓練分布を超えて、より大きなサイズや全く異なる問題ドメインとしてSATとしてエンコードされた場合に一般化するか。
• RQ3 同じアーキテクチャを用いて不満足コアを識別し、不満足証明を支援できるか。
• RQ4 NeuroSATの活性化から解をデコードする仕組みはどう機構的で、インスタンス間でどれだけ信頼できるか。

主な発見

• NeuroSATはSR(U(10,40))テストセットにおいて充足性分類で85%の精度を達成した。
• 充足問題ではNeuroSATは充足を73%の精度で正しく予測し、70%の問題について充足解をデコードできる。
• 不満足問題ではUNSATの精度が96%である。
• NeuroSATは訓練時に見たよりはるかに大きな問題を、より多くの反復を実行することで解くことができる（例: n=200のSR(n)の25%に相当する拡張反復）。
• NeuroSATは、グラフ彩色、クリーク検出、支配集合、頂点被覆などの様々なランダムグラフ分布にエンコードされたSAT問題へ一般化する。
• NeuroUNSATは小さなunsatコアを含むデータで訓練した場合、充足性検出で100%の精度を達成でき、活性化からコアリテラルをデコードできる。