[論文レビュー] Can $Q$-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?

Vitaly Kurin, Saad Godil+2 more|arXiv (Cornell University)|Sep 26, 2019

Software Engineering Research被引用数 11

ひとこと要約

本稿では、グラフニューラルネットワーク（GNN）とディープQラーニングを用いた強化学習ベースの分岐ヒューリスティクス、Graph-Q-SATを提案する。この手法は、問題構造から学習することで、VSIDSよりも2〜3倍の反復回数削減を達成し、5倍以上大きな未満足性のインスタンスにも一般化可能であり、データ効率性とゼロショット転送を示しており、SATソルブのスケーラブルで一般化可能なヒューリスティクス学習の強力な可能性を示している。

ABSTRACT

We present Graph-$Q$-SAT, a branching heuristic for a Boolean SAT solver trained with value-based reinforcement learning (RL) using Graph Neural Networks for function approximation. Solvers using Graph-$Q$-SAT are complete SAT solvers that either provide a satisfying assignment or proof of unsatisfiability, which is required for many SAT applications. The branching heuristics commonly used in SAT solvers make poor decisions during their warm-up period, whereas Graph-$Q$-SAT is trained to examine the structure of the particular problem instance to make better decisions early in the search. Training Graph-$Q$-SAT is data efficient and does not require elaborate dataset preparation or feature engineering. We train Graph-$Q$-SAT using RL interfacing with MiniSat solver and show that Graph-$Q$-SAT can reduce the number of iterations required to solve SAT problems by 2-3X. Furthermore, it generalizes to unsatisfiable SAT instances, as well as to problems with 5X more variables than it was trained on. We show that for larger problems, reductions in the number of iterations lead to wall clock time reductions, the ultimate goal when designing heuristics. We also show positive zero-shot transfer behavior when testing Graph-$Q$-SAT on a task family different from that used for training. While more work is needed to apply Graph-$Q$-SAT to reduce wall clock time in modern SAT solving settings, it is a compelling proof-of-concept showing that RL equipped with Graph Neural Networks can learn a generalizable branching heuristic for SAT search.

研究の動機と目的

• 強化学習を用いて、データ効率的で一般化可能なSATソルブの分岐ヒューリスティクスを開発すること。
• ドメインの専門知識に依存せずに、VSIDSのような手作業で設計されたヒューリスティクスを置き換えたり改善したりすること。
• グラフニューラルネットワークが、異なるサイズや種類のSAT問題にわたる一般化を可能にするかを評価すること。
• SATソルブにおけるゼロショット転送とウォールクロック時間の改善を調査すること。
• GNNと価値ベースの強化学習を組み合わせて、記号的推論タスクに適用可能かどうかを実証すること。

提案手法

• 変数をノード、節をエッジとするCNF式のグラフ表現を用い、置換および変数の再ラベル化不変性を実現する。
• Qラーニングにおける状態行動ペアのQ値推定に、関数近似としてグラフニューラルネットワーク（GNN）を採用する。
• 解決に成功した場合に+1、制限時間内に解決できなかった場合に-1のバイナリ報酬信号を用い、DQNスタイルの深層Qラーニングでモデルを訓練する。
• 探索中の環境インタラクションとポリシー学習を可能にするために、MiniSatソルバーとインターフェースを接続する。
• 複雑な特徴工学を避けるために、変数の次数と節の数に基づくシンプルな状態表現を採用する。
• CDCLソルバーの分岐ヒューリスティクスのみを変更し、完全性と正しさを保持する。

実験結果

リサーチクエスチョン

• RQ1 GNNを用いたQラーニングは、サイズが異なるSAT問題インスタンスにわたって一般化可能な分岐ヒューリスティクスを学習できるか？
• RQ2 反復回数とウォールクロック時間の観点から、学習されたヒューリスティクスは標準的なVSIDSヒューリスティクスを上回るか？
• RQ3 学習分布外のより大きな問題や未満足性（unSAT）インスタンスに対しても、モデルは一般化可能か？
• RQ4 訓練に用いたタスクファミリーとは異なるタスクファミリーでテストした際、モデルはゼロショット転送を示すか？
• RQ5 学習プロセスはどの程度データ効率的か？たった1つの問題インスタンスでさえも、性能向上を達成できるか？

主な発見

• Graph-Q-SATは、学習分布上でのSAT問題解決に要する反復回数を、VSIDSと比較して2〜3倍削減している。
• 未満足性（unSAT）インスタンスに対しても一般化可能であり、満足性問題と同様の反復回数削減を達成している。
• 学習データに含まれる変数数の5倍の変数数を持つ問題に対しても一般化可能であり、性能向上を維持している。
• 反復回数の削減は、大きな問題においてウォールクロック時間の短縮に直結しており、実用的利点を示している。
• 訓練に用いたタスクファミリーとは異なるタスクファミリーでテストした際、ポジティブなゼロショット転送を示している。
• 1つのSAT問題インスタンスでの学習でも、測定可能な改善が得られており、高いデータ効率性を示している。