[論文レビュー] Graph Neural Networks and Boolean Satisfiability

Benedikt Bünz, Matthew Lamm|arXiv (Cornell University)|Feb 12, 2017

Computational Drug Discovery Methods参考文献 9被引用数 19

ひとこと要約

本稿では、手動による特徴工学を用いずに、結合正規形（CNF）論理式をグラフとして表現することにより、ブール充足可能性問題（SAT）を分類するためにグラフニューラルネットワーク（GNN）を提案する。主な発見は、弱教師あり設定においてGNNが充足可能と充足不可能なインスタンスを区別する能力を学習できることであり、深層学習がSAT問題の本質的構造的性質を捉えることができることを示している。

ABSTRACT

In this paper we explore whether or not deep neural architectures can learn to classify Boolean satisfiability (SAT). We devote considerable time to discussing the theoretical properties of SAT. Then, we define a graph representation for Boolean formulas in conjunctive normal form, and train neural classifiers over general graph structures called Graph Neural Networks, or GNNs, to recognize features of satisfiability. To the best of our knowledge this has never been tried before. Our preliminary findings are potentially profound. In a weakly-supervised setting, that is, without problem specific feature engineering, Graph Neural Networks can learn features of satisfiability.

研究の動機と目的

• 深層ニューラルネットワークが手動による特徴工学に依存せずに、ブール充足可能性（SAT）問題を分類できるかどうかを調査すること。
• ニューラルモデルによる学習可能性に影響を与えるSATの理論的性質を調査すること。
• CNF論理式のグラフベース表現を構築し、グラフニューラルネットワーク（GNN）の適用を可能にすること。
• GNNが多様な問題インスタンスにわたって充足可能性のパターンを一般化できるかどうかを弱教師あり設定で評価すること。
• GNNを、木構造的な文法的構造を仮定するリカーシブニューラルネットワーク（RNN）などの代替ニューラルアーキテクチャと比較すること。

提案手法

• 変数と節に対応するノードを持つ非均質グラフとしてCNF論理式を表現し、エッジは変数-節の関係性を符号化する。
• グラフ構造上のメッセージパッシングを用いて、グラフ表現をSATまたはUNSATとして分類するため、グラフニューラルネットワーク（GNN）を適用する。
• 問題固有の特徴工学を一切行わず、SAT/UNSATラベルのみを用いて弱教師ありでGNNを訓練する。
• 勾配ベース最適化を可能にするために、SAT目的関数の微分可能近似を用いる。ステップ関数をシグモイド関数やtanh活性化関数で近似する。
• 変数を実数値ベクトルとして表現し、目的関数を微分可能にした連続的リラクゼーションを用いたニューラル回路ソルバーを実装する。
• CNF論理式にクラスタリングによるコサイン類似度を用いて人工的な木構造を導入するリカーシブニューラルネットワーク（RNN）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークは、明示的な特徴工学を伴わずに、ブール充足可能性を分類できるか？
• RQ2 節-変数比といったSATの理論的性質は、グラフ構造のCNF論理式に対するGNNの学習可能性にどのように影響するか？
• RQ3 クラスタリングによるコサイン類似度を用いて節に人工的な木構造を強制する場合、直接的なグラフ表現と比較して、ニューラル分類器の性能は向上するか、あるいは低下するか？
• RQ4 GNNの性能は、RNNなどの他のニューラルアーキテクチャと比較して、SAT分類タスクでどうなるか？
• RQ5 エンドツーエンドの訓練を通じて、ニューラルネットワークはグラフ表現に基づいて、SAT問題の本質的構造的複雑さをどの程度捉えることができるか？

主な発見

• GNNは弱教師あり設定において、手動による特徴工学を一切行わず、高い精度でSATインスタンスを正しく分類する能力を学習した。
• 連続的リラクゼーションに基づくニューラルSATソルバーの性能は、問題サイズの増大に伴い低下し、局所最適解に陥るため失敗率が上昇した。
• リカーシブニューラルネットワーク（RNN）は、生成した部分問題がほとんどがSATである可能性が極めて高いため、SATとUNSATの明確な区別を学習できず、モデルに強いバイアスが生じた。
• コサイン類似度によるクラスタリングを用いて節に人工的な木構造を強制したRNNベースのアプローチは、SAT分類タスクでランダムベースラインと同等の性能にとどまった。
• RNNの失敗は、論理的論理和や論理積の非再帰的かつ可換性に起因するため、CNF論理式に対して木構造モデルが不適切であることを示している。
• GNNの成功は、グラフベースの表現が、分類に不可欠なSAT問題の本質的構造的特徴を保持していることを示唆している。